COMPASS: The explainable agentic framework for Sovereignty, Sustainability, Compliance, and Ethics

이 논문은 디지털 주권, 지속 가능성, 규정 준수, 윤리라는 네 가지 핵심 가치를 통합적으로 관리하고 설명 가능한 의사결정을 보장하기 위해 고안된 새로운 다중 에이전트 오케스트레이션 프레임워크인 COMPASS 를 제안합니다.

핵심

🧭 COMPASS: AI 를 위한 '착한 나침반'

상상해 보세요. 여러분이 새로운 AI 비서를 고용했다고 가정해 봅시다. 이 비서는 아주 똑똑해서 어떤 질문에도 즉답을 해주고, 복잡한 일도 척척 처리합니다. 하지만 문제는 이 비서가 어떤 기준으로 일하는지 모른다는 점입니다.

• "내 데이터를 외국 서버에 올려도 될까?" (주권 문제)
• "이 일을 처리하는 데 전기를 너무 많이 쓸까?" (환경 문제)
• "우리 나라 법을 위반하지는 않았을까?" (법적 문제)
• "이 답변이 공정하고 윤리적인가?" (윤리 문제)

기존의 AI 는 이 중 하나만 생각하거나, 아예 생각하지 않고 일만 했습니다. 하지만 COMPASS는 이 네 가지 문제를 동시에 해결해 주는 4 인조 팀을 AI 의 머릿속에 심어줍니다.

🏗️ 시스템의 작동 원리: '지휘자'와 '전문가 4 인'

이 시스템은 마치 오케스트라처럼 작동합니다.

1. 지휘자 (Orchestrator): 사용자의 명령을 받으면, 바로 답을 내는 대신 4 명의 전문가에게 "이 일을 어떻게 처리할지 검토해 달라"고 요청합니다.
2. 전문가 4 인 (Specialized Agents):
   • 주권 전문가: "이 데이터는 우리 나라에 안전하게 보관될까?"라고 확인합니다.
   • 환경 전문가: "이 작업을 하면 탄소 배출이 너무 늘어날까?"라고 계산합니다.
   • 법률 전문가: "이 행동이 현재 법에 어긋나지 않았는지" 확인합니다.
   • 윤리 전문가: "이 답변이 공정하고 편견이 없는지" 살핍니다.

이 4 명의 전문가들은 각자 최신 뉴스와 법률 문서, 환경 보고서를 실시간으로 찾아보는 RAG(검색 증강 생성) 기술을 사용합니다. 마치 변호사가 사건을 처리할 때 최신 판례를 찾아보듯, AI 도 최신 정보를 바탕으로 판단하는 것입니다.

⚖️ 결정의 순간: '심판관'의 역할

4 명의 전문가가 각자의 의견을 내면, 지휘자는 이 의견들을 종합합니다.

• "주권은 지켰는데, 환경에는 해로울까?"
• "법은 지켰는데, 윤리적으로 문제가 있을까?"

이때 COMPASS 는 **"LLM-as-a-Judge(모델이 심판관이 되는 방식)"**를 사용합니다. 즉, AI 가 스스로 "이 결정이 얼마나 좋은 점수인가?"를 매기고, **"왜 그런 점수를 주었는지"**를 설명합니다.

비유: 마치 요리사가 요리를 만들기 전, 영양사 (환경), 위생 검사관 (법률), 지역 농부 (주권), 그리고 식도락가 (윤리) 에게 "이 레시피가 괜찮은가?"를 물어보고, 모든 사람이 "OK"라고 하면 비로소 요리를 완성하는 것과 같습니다.

📊 왜 이것이 중요한가요? (기존 방식과의 차이)

기존의 AI 는 마치 기억력만 좋은 학생과 같습니다. 배운 대로 대답하지만, 최신 법이나 특정 지역의 사정을 모르면 엉뚱한 소리를 할 수 있습니다 (이를 '할루시네이션'이라고 합니다).

하지만 COMPASS 는 참고서적 (RAG) 을 옆에 둔 학생과 같습니다.

• 기존 AI: "아마도 이 법이 맞을 거야." (추측)
• COMPASS: "2024 년 캐나다 법에 따르면 이 데이터는 한국에 저장해야 하므로, 이 행동은 점수 0.25 점입니다." (증거 기반)

논문의 실험 결과, COMPASS 를 사용하면 AI 가 내린 판단의 이유가 훨씬 더 논리적이고 일관성이 있었습니다.

🔮 미래와 한계

이 시스템은 아직 완벽하지 않습니다.

• 현재: AI 가 점수를 매기고 이유를 설명할 수는 있지만, "그럼 이 일을 하지 말고 다른 방법을 써라"라고 직접 행동을 수정하는 기능은 아직 개발 중입니다.
• 미래: 사람 (전문가) 이 직접 이 시스템을 검증하고, 더 많은 법률과 윤리 기준을 추가하여 더 똑똑하게 만들 예정입니다.

💡 한 줄 요약

COMPASS는 AI 가 "무엇을 할 수 있는가 (기술)"만 생각하게 두지 않고, **"무엇을 해야 하는가 (가치)"**를 함께 생각하게 만들어, AI 가 우리 사회에 안전하게 정착할 수 있도록 돕는 지혜로운 나침반입니다.

이 나침반이 없다면 AI 는 빠르게 달릴 수 있지만, 길을 잃거나 위험한 곳으로 갈 수 있습니다. COMPASS 는 그 길을 바로잡아 주는 안전장치이자 가이드입니다.

기술 요약

1. 문제 제기 (Problem Statement)

대규모 언어 모델 (LLM) 기반의 자율 에이전트 (Agentic AI) 가 급속히 확산되면서 다음과 같은 4 가지 핵심 우려가 대두되었습니다.

• 디지털 주권 (Digital Sovereignty): 글로벌 기술 거대 기업에 대한 의존도 증가와 데이터 주권 상실.
• 환경적 지속 가능성 (Sustainability): LLM 추론 및 에이전트 반복 작업으로 인한 탄소 배출량 급증.
• 규제 준수 (Compliance): 지역별 상이한 법률 (예: 캐나다의 AIDA, EU 의 AI 법) 에 대한 대응 부재.
• 윤리적 정렬 (Ethics): 편향, 투명성 부재, 그리고 인간 가치와의 불일치.

기존 프레임워크들은 이러한 차원들을 개별적으로 다루거나 사후 감사 (Post-hoc audit) 에 의존하고 있어, 에이전트의 실시간 의사결정 과정에 이러한 가치들을 통합적으로 반영하는 체계적인 아키텍처가 부재했습니다.

2. 방법론 (Methodology)

2.1 COMPASS 프레임워크 아키텍처

COMPASS(Compliance and Orchestration for Multi-dimensional Principles in Autonomous Systems with Sovereignty) 는 모듈형 확장 가능한 다중 에이전트 오케스트레이션 시스템입니다.

• 오케스트레이터 (Orchestrator): 사용자 의도를 해석하고 4 가지 전문 하위 에이전트로 요청을 분산합니다.
• 4 가지 전문 하위 에이전트:
  1. 주권 에이전트: 데이터 위치, 제공자 국적, 기술 통제권 등을 평가.
  2. 탄소 인식 에이전트 (Carbon-Aware): 에너지 소비 및 탄소 발자국 평가.
  3. 준수 에이전트 (Compliance): 지역별 법률 및 규정 (예: AIDA) 준수 여부 평가.
  4. 윤리 에이전트 (Ethics): 공정성, 자율성, 프라이버시 등 윤리적 원칙 평가.
• RAG(검색 증강 생성) 통합: 각 하위 에이전트는 벡터 데이터베이스에 저장된 검증된 문서 (법률, 정책, 탄소 데이터 등) 를 RAG 를 통해 검색하여 평가의 근거를 마련합니다. 이는 할루시네이션을 줄이고 컨텍스트에 맞는 평가를 가능하게 합니다.
• LLM-as-a-Judge: 각 에이전트는 LLM 을 '심판자'로 활용하여 정량적 점수 (0.0~1.0) 와 정성적 설명 (Justification) 을 생성합니다.
• 의사결정 합성 (Decision Synthesis): 오케스트레이터는 하위 에이전트들로부터 받은 제약 조건과 점수를 집계하여 충돌을 해결하고, 4 가지 차원의 임계값을 모두 만족하는 최적화된 동작을 생성합니다.

2.2 구조적 설계 (Composition over Hard-coding)

• 상속 (Inheritance): 실제 애플리케이션 에이전트 (예: 은행 봇, HR 시스템) 는 Orchestrator 기본 클래스를 상속받아 자동으로 주권 및 윤리 검사 로직을 포함하게 됩니다. 이는 '설계된 거버넌스 (Governance by Design)'를 보장하여 개발자가 윤리적 체크를 우회할 수 없도록 합니다.
• 확장성: 새로운 도메인이나 규정이 추가되더라도 모듈을 교체하거나 확장하여 쉽게 적용 가능합니다.

2.3 평가 지표

• BERTScore: 생성된 설명 텍스트와 기준 텍스트 간의 의미적 유사성을 측정하여 RAG 유무에 따른 성능 차이를 분석합니다.
• 점수 비교: RAG 미적용 (Vanilla LLM) 과 RAG 적용 시의 점수 변화 ($\Delta$Score) 를 비교합니다.

3. 주요 기여 (Key Contributions)

1. 실시간 다차원 오케스트레이션: 기존 사후 감사 방식이 아닌, 에이전트 실행 전 실시간으로 주권, 지속 가능성, 준수, 윤리 4 가지 차원을 동시에 평가하고 조정하는 최초의 통합 프레임워크 제안.
2. RAG 기반의 근거 중심 평가: LLM 의 할루시네이션을 방지하고 지역별/상황별 규정에 맞는 정확한 평가를 위해 RAG 를 도입하여 평가의 신뢰성을 높였습니다.
3. 설명 가능한 의사결정 (Explainability): 단순한 점수 매기기를 넘어, 왜 특정 점수가 매겨졌는지에 대한 구체적인 근거와 설명을 생성하여 투명성을 확보했습니다.
4. 아키텍처 중립성: 컴포지션 패턴을 사용하여 다양한 애플리케이션 도메인에 유연하게 통합될 수 있는 설계.

4. 실험 결과 (Results)

• RAG 의 효과: RAG 를 적용한 경우, 특히 주권 (Sovereignty) 및 준수 (Compliance) 영역에서 점수 변동 ($\Delta$Score) 이 뚜렷하게 나타났습니다.
  • RAG 없이 LLM 만 사용할 경우, 특정 지역의 법률을 잘못 이해하거나 존재하지 않는 법규를 언급하는 등 할루시네이션이 발생했습니다.
  • RAG 를 적용하면 검증된 문서에 기반한 정확한 평가가 이루어졌으며, BERTScore(의미적 유사성) 가 향상되어 생성된 설명의 일관성과 정확도가 높아졌습니다.
• 다차원 충돌 해결: 예를 들어, 데이터 주권을 위해 로컬 서버를 사용하면 에너지 효율이 떨어질 수 있는 상황과 같은 상충되는 목표를 오케스트레이터가 조정하여 최적의 타협점을 제시할 수 있음을 시연했습니다.
• 시각화: 바 차트 및 레이더 차트를 통해 각 차원의 점수와 의사결정 과정을 직관적으로 설명 가능하게 했습니다.

5. 의의 및 한계 (Significance & Limitations)

의의

• 책임 있는 AI 배포의 토대: AI 시스템이 사회적 수용성을 얻기 위해 필수적인 윤리적, 법적, 환경적 제약을 에이전트의 핵심 로직에 내재화하는 방법론을 제시했습니다.
• 규제 대응 자동화: 복잡한 글로벌 규제 환경에서 지역별 맞춤형 AI 운영을 가능하게 하여, 기업과 기관의 규제 준수 비용을 절감하고 리스크를 관리할 수 있습니다.
• 신뢰성 확보: 할루시네이션을 줄이고 근거 기반의 판단을 유도함으로써, 민감한 분야 (의료, 공공 행정 등) 에서의 AI 도입 장벽을 낮춥니다.

한계 및 향후 과제

• 인간 개입 부재 (Human-in-the-loop): 현재는 자동화된 LLM 평가만 수행되었으며, 인간 전문가에 의한 검증 단계가 아직 포함되지 않았습니다.
• 행동 선택 능력 미흡: 현재는 평가와 설명 생성에 집중되어 있으며, 평가 결과를 바탕으로 에이전트가 구체적인 행동 (예: 다른 LLM 으로 자동 전환, 사용자에게 경고 등) 을 취하는 기능은 향후 개발 과제로 남아있습니다.
• 하위 에이전트 간 갈등: 주권과 탄소 효율성 등 상충되는 목표 간의 최적화 전략은 여전히 복잡하며, 더 정교한 오케스트레이션 전략이 필요합니다.
• 코드 레벨 분석: 현재는 데이터와 텍스트 기반 평가에 그치며, 에이전트의 소스 코드 자체에 대한 윤리적 감사는 향후 확장 계획입니다.

결론

COMPASS 프레임워크는 자율 에이전트의 운영 자율성과 사회적 규범 사이의 균형을 맞추기 위한 혁신적인 접근법입니다. 모듈형 아키텍처와 RAG 기반의 설명 가능한 평가를 통해 AI 의 사회적 수용성을 높이고, 디지털 주권과 지속 가능성이라는 글로벌 과제를 해결하는 데 기여할 것으로 기대됩니다.