논문 요약: 기관용 AI 를 위한 통치된 추론 (Governed Reasoning for Institutional AI)

이 논문은 Mamadou Seck 박사가 2026 년 4 월에 발표한 것으로, Cognitive Core라는 새로운 아키텍처를 제안합니다. 이 아키텍처는 일반 목적의 AI 에이전트 (Agent) 가 가진 유연성과 적응성을 유지하면서도, 규제 준수, 임상 분류, 허가 심사 등 고위험 기관적 의사결정에 필수적인 통치 (Governance), 감사 가능성 (Auditability), 구조적 인간 권한을 내재화하는 것을 목표로 합니다.

1. 문제 제기 (The Problem)

기존의 일반 목적 AI 에이전트 아키텍처 (예: ReAct, Plan-and-Solve) 는 복잡한 작업을 분해하고 순서대로 수행하는 데 탁월하지만, **기관적 신뢰 (Institutional Trust)**를 구축하는 데는 근본적인 한계가 있습니다.

• 통치의 부재: 에이전트의 권한 경계는 대화적 추론에 의존할 뿐 구조적으로 강제되지 않습니다.
• 검사의 불가능성: 추론 과정이 독립적으로 검사 가능한 단위로 분리되지 않고, 단일한 루프 (Monolithic Loop) 로 이루어집니다.
• 감사 추적의 사후성: 감사 기록은 프롬프트와 출력물을 사후에 재구성하는 방식이라, 계산 과정 자체에서 생성되는 내재적 (Endogenous) 기록이 아닙니다.
• 시스템적 실패 모드: Gu 등 [18] 의 연구에 따르면, 다중 에이전트 시스템은 올바른 소수 의견 억제 (24~38%), 합성 과정에서의 핵심 정보 손실, 그리고 잘못된 답변에 대한 확신 있는 합의 등 체계적인 실패를 보입니다. 또한, 본 논문은 '승인 편향 (Approval Prior Bias)'이라는 새로운 실패 모드 (기준을 충족하지 않아도 승인 쪽으로 결론을 내리는 경향) 를 발견했습니다.

이러한 문제들은 단순한 버그가 아니라, 대화형 권위와 단일 루프 추론에 기반한 아키텍처의 구조적 결함에서 비롯됩니다.

2. 방법론 및 아키텍처 (Methodology & Architecture)

저자는 Cognitive Core를 제안하며, 이는 4 가지 이론적 약속 (Commitments) 에 기반합니다:

1. 기관적 의사결정은 별도의 문제 클래스이다.
2. 통치는 추론 구조에 부착되어야 한다.
3. 기관적 업무는 조정된 전문화이자 적응적이어야 한다.
4. 책임성은 실행에 내재적이어야 한다.

핵심 구성 요소

1. 인지 원시어 (Cognitive Primitives):

   • 9 가지 타입화된 인지 연산 (Retrieve, Classify, Investigate, Verify, Challenge, Reflect, Deliberate, Govern, Generate) 으로 구성됩니다.
   • 각 원시어는 정의된 입력/출력 계약과 통치 프로필을 가집니다.
   • Reflect 원시어 (메타인지): 이 아키텍처의 핵심입니다. 사례 자체를 추론하는 것이 아니라 '추론 과정'을 추론합니다. 특히 사후 도전 방어 (Post-challenge guard) 메커니즘을 통해, 진정한 지적 취약점을 식별한 도전과 권위적 압력 (Sycophancy) 에 의한 도전을 구분하여, 불필요한 결론 변경을 방지합니다.

2. 통치 모델 (Governance Model):

   • 4 단계 통치 계층 (AUTO, SPOT_CHECK, GATE, HOLD) 을 도입했습니다.
   • 통치 결정은 실행의 전제 조건이며, Govern 원시어가 누적된 인지 상태를 읽어 계층을 결정합니다.
   • 계층은 한 번 결정되면 인스턴스 수명 동안 잠금 (Lock) 됩니다.

3. 감사 모델 (Audit Model):

   • SHA-256 해시 체인을 사용하여 모든 원시어 출력, 오케스트레이터 결정, 통치 행위를 기록합니다.
   • 이 감사 장부는 계산의 부산물이 아니라 계산의 **주요 산출물 (Endogenous Output)**입니다.

4. 위임 모델 (Delegation Model):

   • 워크플로우 모드: YAML 로 선언된 고정된 순서.
   • 에이전트 모드: 목표와 증거에 기반하여 오케스트레이터가 원시어를 선택하는 적응형 순서.
   • 두 모드 모두 동일한 원시어 집합과 통치 모델을 공유하며, 하드 제약 조건은 서브스트레이트 (Substrate) 수준에서 강제됩니다.

5. 인지 상태 아키텍처 (Epistemic State):

   • LLM 이 보고하는 단일 신뢰도 점수가 아닌 3 층 구조를 사용합니다:
     • Layer 1 (기계적 신호): LLM 이 조작할 수 없는 결정론적 지표 (예: 증거 완성도, 규칙 커버리지).
     • Layer 2 (판단 신호): LLM 이 보고하는 논리적 타당성과 결과 확신 (40% 가중치).
     • Layer 3 (일관성 플래그): 단계 간 문제를 감지하는 교차 단계 플래그.

3. 주요 기여 (Key Contributions)

1. 이론적 기반: 사이먼 (Simon), 클라인 (Klein), 마크와 올슨 (March & Olsen) 등의 이론을 바탕으로 기관용 AI 가 왜 기존 에이전트와 다른 아키텍처가 필요한지 정립했습니다.
2. 메타인지 반영이 포함된 9 가지 인지 원시어: 'Reflect' 원시어를 통해 도전 압력에 대한 순응 (Capitulation) 을 방지하는 구조적 방어 메커니즘을 도입했습니다.
3. 통치된 실행 서브스트레이트: 실행 조건으로서의 통치 요구사항, 적응형 추론을 허용하는 구조적 가드레일, 그리고 내재적 감사 장부를 갖춘 아키텍처를 설계했습니다.
4. 구현 중심의 도메인 모델: 새로운 도메인을 적용할 때 엔지니어링이 아닌 도메인 전문가의 지식 (YAML 설정) 만으로 가능하도록 구성했습니다.
5. 새로운 평가 척도 '통치 가능성 (Governability)': 정확도 (얼마나 자주 맞는지) 와 구별되는, 시스템이 언제 틀렸는지 얼마나 신뢰성 있게 인지하는지를 측정하는 새로운 지표를 제안했습니다.

4. 실험 결과 (Results)

비교 벤치마크:

• 데이터셋: 사전 승인 항소 (Prior Authorization Appeal) 관련 11 가지 균형 잡힌 사례.
• 비교 대상: Cognitive Core (CC) vs. ReAct vs. Plan-and-Solve (중립적 프롬프트 기반).

성능 비교:

주요 발견:

• 정확도: CC 가 압도적으로 높은 정확도를 보였습니다. 특히 '승인 편향'이 존재하는 UPHOLD(승인 유지) 및 PARTIAL(부분 승인) 사례에서 기존 모델들은 실패했으나 CC 는 성공했습니다.
• 침묵하는 오류 (Silent Errors): 기존 모델들은 잘못된 결정을 내렸을 때 이를 감지하지 못하고 그대로 실행시켰습니다. 반면, CC 는 단 하나의 오류도 인간 검토 없이 실행되지 않았습니다.
  • CC 의 유일한 오류 (G003) 와 모든 시스템이 틀린 어려운 사례 (B001) 는 모두 GATE(인간 검토 필요) 계층으로 라우팅되었습니다.
  • Plan-and-Solve 는 계획 단계에서 정답을 찾았음에도 실행 단계에서 승인 편향으로 인해 틀린 결론을 내렸습니다. 이는 단순한 구조적 계획이 아닌 아키텍처적 통제가 필요함을 보여줍니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 고위험 기관적 의사결정에서 AI 의 신뢰성은 단순히 '정확도'가 아니라 **'통치 가능성 (Governability)'**에 달려 있음을 강조합니다.

• 기관적 지능 (Institutional Intelligence): 기관은 개인적인 지능을 모방하는 AI 가 아니라, 경계 내에서 추론하고, 인간 판단이 필요한 사례를 표출하며, 검증 가능한 기록을 남기는 시스템을 필요로 합니다.
• 구조적 통치: 통치는 출력물에 적용되는 사후 모니터링이 아니라, 추론 과정 자체의 구조적 속성이어야 합니다.
• 실용적 가치: Cognitive Core 는 0 개의 침묵하는 오류를 달성함으로써, 규제 환경과 고위험 의사결정 분야에서 AI 를 안전하게 배포할 수 있는 새로운 아키텍처 패러다임을 제시합니다.

결론적으로, 이 연구는 AI 에이전트의 자율성을 유지하면서도 인간과 기관이 요구하는 엄격한 통제와 책임을 구조적으로 구현하는 방법을 제시하며, 향후 규제 준수 및 고신뢰성 AI 시스템 설계의 표준이 될 가능성을 보여줍니다.