Think Before You Act -- A Neurocognitive Governance Model for Autonomous AI Agents

"행동하기 전에 생각하라 — 자율 AI 에이전트를 위한 신경인지 거버넌스 모델"에 대한 상세한 기술 요약입니다.

1. 문제 제기

중요 분야 (기업, 의료, 안전) 에서 자율 AI 에이전트 (도구 사용, 다단계 추론, 실행이 가능한 LLM 기반 시스템) 의 급속한 배포는 거버넌스 격차를 만들어냈습니다. 현재의 거버넌스 접근 방식은 세 가지 범주로 분류되며, 모두 거버넌스를 내부 인지 과정이 아닌 외부 제약으로 취급합니다:

• 학습 시간 정렬 (예: RLHF, 헌법적 AI): 개방형 또는 적대적 환경에서 저하되는 확률적 준수를 생성합니다.
• 런타임 가드레일 (예: AgentSpec, 정책-프롬프트): 추론 후 실행 전에 행동을 가로채어 제약을 강제합니다. 이는 통합된 추론 과정이 아닌 '필터' 접근 방식으로, 필터가 우회되거나 에이전트의 내부 논리가 결함이 있는 경우 에이전트를 위험한 행동에 취약하게 만듭니다.
• 사후 감사: 위반이 발생한 후에만 이를 감지하며, 되돌릴 수 없는 행동을 예방하지 못합니다.

핵심 문제는 이러한 방법들이 개인이 행동하기 전에 규칙을 내부적으로 숙고하는 인간의 자기 거버넌스를 모방하지 못한다는 점입니다. 이 논문은 견고하고 설명 가능하며 일관된 준수를 위해 거버넌스를 에이전트의 추론 루프 내에 내면화된 행동 원칙으로 임베딩하는 것이 필수적이라고 주장합니다.

2. 방법론: 신경인지 거버넌스 프레임워크

저자들은 인간 신경인지 자기 거버넌스 메커니즘을 LLM 기반 에이전트에 공식적으로 매핑하는 프레임워크를 제안합니다. 방법론은 두 가지 과학적 기반 위에 구축됩니다:

1. 이중 처리 이론 및 실행 기능: 인간은 충동을 억제하고 행동하기 전에 내면화된 규칙을 참조하기 위해 전두엽이 매개하는 '시스템 2'(느리고 숙고적인) 추론을 사용합니다.
2. 조직 준수 심리학: 인간은 위계적으로 구조화된 규칙 체계 (보편적 원칙 $\to$ 조직 정책 $\to$ 부서 절차 $\to$ 역할별 제약) 를 준수합니다.

프레임워크는 두 가지 주요 구성 요소로 이루어집니다:

A. 행동 전 거버넌스 추론 루프 (PAGRL)

이는 에이전트가 모든 중대한 행동 전에 '시스템 2' 숙고를 수행하기 위해 멈추는 운영 메커니즘입니다. 이 루프는 네 단계로 구성됩니다:

1. 의도 형성: 에이전트가 의도된 행동 (충동에 해당) 을 식별합니다.
2. 규칙 검색: 에이전트가 구조화된 위계에서 적용 가능한 모든 거버넌스 규칙을 검색합니다 (작업 기억에 해당).
3. 허용성 추론: 에이전트는 검색된 규칙과 행동이 준수하는지 자연어로 명시적으로 추론하여 구조화된 추론 흔적을 생성합니다.
4. 준수 결정: 에이전트는 세 가지 결과 중 하나로 라우팅합니다:
   • 진행: 행동이 준수됨; 실행 및 로그 기록.
   • 자기 수정: 행동이 비준수하지만 수정 가능함; 의도를 수정하고 루프에 재진입.
   • 승급: 행동이 금지됨, 되돌릴 수 없음, 또는 모호함; 실행 중단 및 인간 감독으로 이관.

B. 4 층 캐스케이딩 거버넌스 아키텍처

PAGRL 을 지원하기 위해 프레임워크는 인간 조직 준수를 반영하는 위계적 규칙 구조를 정의합니다:

• 1 층: 글로벌 규칙: 모든 에이전트에 적용되는 보편적 제약 (예: "절대 민감한 데이터를 외부로 전송하지 마십시오").
• 2 층: 워크플로우별 규칙: 도메인별 정책 (예: "$10,000 초과 금융 주문은 승인 필요").
• 3 층: 에이전트별 규칙: 역할 기반 제약 (예: "데이터 검색 에이전트는 읽기 전용").
• 4 층: 상황별 규칙: 상황 유발형 임시 규칙 (예: "보안 사고 발생 시 모든 API 호출은 인간 승인 필요").

규칙은 하향식으로 캐스케이딩되며, 행동은 적용 가능한 모든 층을 동시에 만족해야 합니다. 충돌 시 상위 규칙이 우선합니다.

C. 구현 아키텍처

이 프레임워크는 OpenAI Agents SDK와 **Model Context Protocol(MCP)**을 사용하여 구현되었습니다:

• MCP 거버넌스 서버: 규칙 저장 (JSON) 을 중앙 집중화하고 부가 전용 추론 흔적 로그를 유지합니다.
• 거버넌스 프롬프트 생성기: 현재 에이전트, 워크플로우, 컨텍스트에 따라 서버에서 관련 규칙을 쿼리하여 에이전트의 시스템 프롬프트에 주입하는 미들웨어입니다.
• PAGRL 강제 블록: 에이전트가 모든 도구 호출 전에 추론 루프를 실행하도록 지시하는 고정 프롬프트 구성 요소입니다.

3. 주요 기여

1. 신경인지 매핑: 인간 인지 (전두엽, 실행 기능) 와 LLM 추론 간의 공식적 구조적 병렬성을 확립하며, LLM 이 내면화된 거버넌스를 위한 '인지 핵심'으로 작용하기에 고유하게 적합하다고 주장합니다.
2. PAGRL 메커니즘: 거버넌스를 외부 필터에서 내부 숙고 과정으로 전환하는 공식적인 행동 전 추론 루프를 도입하여 자기 수정과 설명 가능한 의사 결정을 가능하게 합니다.
3. 4 층 아키텍처: 보편적 윤리에서 상황적 맥락까지 확장되는 캐스케이딩 규칙 위계를 제안하여 상위 제약 사항을 무시하지 않으면서 포괄적인 커버리지를 보장합니다.
4. 구현 중립적 설계: 이 프레임워크는 하부 LLM 제공업체와 관계없이 단일 에이전트, 다중 에이전트 파이프라인, 하이브리드 설계에 적용 가능합니다.

4. 결과 및 평가

이 프레임워크는 수요 예측, 조달, 공급업체 조정, 재고 관리 등 생산급 다중 에이전트 공급망 워크플로우인 Flowr을 사용하여 평가되었습니다.

• 테스트 시나리오:
  • 진행: 읽기 전용 데이터 검색 (준수).
  • 승급: 고가 ($45,000) 구매 주문 (인간 검토 유발).
  • 자기 수정: 미확인 공급업체에 연락 시도 (에이전트가 의도를 수정하여 확인된 공급업체로 변경).
  • 상황적: 공급업체 중단 사건 (인간 검토가 필요한 상황별 규칙 유발).
• 성능 지표:
  • 준수 정확도: 95% (40 회 실행 중 38/40 건의 올바른 결정).
  • 승급 정밀도: 100% (19/19 건의 승급이 올바르게 유발됨; 오탐지 없음).
  • 감사 가능성: 100% 의 실행이 완전한 구조화된 추론 흔적을 생성함.
  • 지연 오버헤드: 에이전트 행동당 평균 0.65 초, 공급망 운영에 허용 가능한 수준으로 판단됨.
• 오류 분석: 두 건의 실패는 모호한 입력 표현으로 인한 '도덕적 이탈'(비준수 합리화) 로 발생했으며, 이는 견고한 규칙 수립과 LLM 숙고 능력의 필요성을 강조합니다.

5. 중요성 및 함의

• 패러다임 전환: AI 거버넌스를 '외부 집행'(필터링) 에서 '내면화된 추론'(숙고) 으로 이동시켜 에이전트 행동을 가장 견고한 형태의 인간 준수와 정렬합니다.
• 설명 가능성 및 감사 가능성: 블랙박스 필터와 달리 PAGRL 은 명시적인 추론 흔적을 생성하여 에이전트가 왜 그 결정을 내렸는지 감사할 수 있게 하며, 이는 규제 준수 (예: EU AI 법) 에 중요합니다.
• 일반화: 규칙의 키워드 매칭이 아닌 규칙의 의도에 대해 추론함으로써 에이전트는 경직된 규칙 기반 시스템보다 새로운 상황과 적대적 입력을 더 효과적으로 처리할 수 있습니다.
• 규제 정렬: 이 프레임워크의 구조 (글로벌에서 상황별 규칙) 와 필수적인 인간-루프-인-더-루프 승급은 고위험 AI 시스템, 위험 관리, 인간 감독에 대한 신흥 규제 요구 사항을 직접 지원합니다.

결론적으로, 이 논문은 거버넌스를 AI 에이전트의 인지 추론 과정에 임베딩하는 것이 현재의 외부 제약 방법보다 더 견고하고 투명하며 적응적인 안전 메커니즘을 창출함을 입증합니다.