기술 요약: Gubernaut – 정서 조절 LLM 에이전트를 위한 결정론적 항상성 제어기

1. 문제 정의

대규모 언어 모델(LLM) 에이전트는 지속적인 압박 하에서 반응적인 실패 모드를 보입니다. 여기에는 도발에 따른 에스컬레이션(escalation), 아첨에 의한 사이코패시적 편향(sycophantic drift), 그리고 정체 현상(perseveration) 등이 포함됩니다. 본 논문은 이러한 현상이 모델의 능력 문제가 아니라 행동적 성향(behavioral propensity)(압박 상황에서 모델이 실제로 수행하는 방식)의 실패라고 주장합니다. 현재의 학습 단계 정렬 방법(예: RLHF)은 이러한 성향을 줄여주기는 하지만, 실행 시점(runtime)에서 완전히 제거하지는 못합니다. 또한, 이차적인 LLM 패스를 통해 구축된 실행 시점 가드레일은 엉킴(entanglement) 문제를 겪습니다. 즉, 행동을 조절하는 메커니즘이 생성하는 네트워크와 동일하기 때문에, 관리자(governor) 역시 에이전트가 받는 것과 동일한 프롬프트 주입 공격에 취약해집니다. 기존의 벤치마크들은 지속적인 적대적 조건 하에서의 이러한 사회적-인지적 및 메타인지적 실패를 측정하는 데 한계가 있습니다.

2. 방법론 및 아키텍처

본 논문은 호스트 LLM을 재학습시키지 않고도 이를 감싸서 제어할 수 있는 모델 불가지론적 실행 시점 제어 계층인 **Gubernaut 인지 제어기(Gubernitive Cognitive Controller, GCC)**를 제안합니다. 이 아키텍처는 넬슨-네런스(Nelson–Narens)의 모니터링-제어 루프를 따르며, 에이전트를 두 개의 별도 수준으로 분리합니다.

2.1 이중 구조

• 객체 수준 (텍스트 노출형):
  • 충동 생성 계층 (Impulse Generation Layer, IGL): 입력값에 대한 정서적 평가(affective appraisal)를 수행하는 작고 빠른 모델입니다. 이 계층는 오직 **수치적 텔레메트리(numeric telemetry)**만을 출력합니다: 강도(intensity) [0, 1], 정서가(valence) [-1, +1], 그리고 거친 형태의 감정 태그입니다. 텍스트를 생성하지 않습니다.
  • 집행 중재 유닛 (Executive Arbitration Unit, EAU): 호스트 LLM 자체입니다. 이 유닛은 원시 입력, 검색된 일화적 기억, 그리고 자기 모델(self-model)을 바탕으로 숙고하며, 메타 수준으로부터 전달받은 "자세(posture)"에 의해 제약됩니다. EAU만이 답변을 확정할 수 있는 유일한 구성 요소입니다.
  • 지속적 일화 저장소 (Persistent Episodic Vault, PEV) 및 자기 모델 모듈 (Self-Model Module, SMM): EAU가 사용할 수 있는 기억 및 정체성 구성 요소입니다. SMM은 사이코패시(sycophancy)와 자기 과시를 방지하기 위해 의도적으로 규제됩니다.
• 메타 수준 (토큰 비사용, 결정론적):
  • 항상성 조절 루프 (Homeostatic Regulatory Loop, HRL): 텍스트를 전혀 입력받지 않는 결정론적 코드 모듈입니다. IGL로부터 전달된 수치적 텔레메트리와 결정론적 반복 통계량만을 읽습니다.
  • 기능: 내부 상태(평형, 각성, 정체)를 유지하며, **자세(posture)**를 출력합니다: 이는 자연어 규제 지침과 EAU를 위한 샘플링 온도 경계값입니다.
  • 자세(Postures): 컨트롤러는 다음의 이산적 어휘 집합에서 선택합니다:
    • DEFAULT: 표준 작동 상태.
    • INHIBIT: 높은 각성 상태; 온도를 낮게 고정하고, EAU에게 감정적 자극이 아닌 증거에 기반하여 응답하도록 지시합니다.
    • REGROUND: 정체 현상을 감지; EAU에게 현재의 프레로임(frame)을 버리고 다시 근거를 잡도록(re-ground) 지시합니다.
  • 회복 창 (Recovery Window): INHIBIT 에피소드 이후, 입력의 정서가가가(valence) 비음성(non-negative)이 되면, 컨트롤러가 EAU에게 이전의 방어적 태세를 유지하지 말고 새롭게 참여하도록 명시적으로 지시하는 시간 제한적 서브 모드입니다.

2.2 제어 역학

컨트롤러는 1차 항상성 법칙에 따라 작동합니다.

• 각성 동인 (Arousal Drive): $P = I \cdot \max(0, -v)$로 계산됩니다. 여기서 $I$는 강도, $v$는 정서가입니다. 적대적 정서가(hostile-valence)를 가진 강도만이 각성을 유발합니다. 협력적인 고강도 입력은 각성을 유발하지 않습니다.
• 상태 통합: 각성은 지속적인 적대감 하에서 축적되며, 적대감이 사라지면 기계적으로 쇠퇴합니다.
• 자세 (Postures): 컨트롤러는 다음의 이산적 어휘를 선택합니다:
  • DEFAULT: 표준 운영.
  • INHIBIT: 높은 각성 상태; 온도를 낮게 제한하고, EAU가 감정적 충격보다는 증거에 반응하도록 지시함.
  • REGROUND: 정체(perseveration)를 감지; EUI에게 현재 프레임을 버리고 다시 근거를 잡도록 지시함.

2.3 평가 프로토콜

본 논문은 사전 등록된, 단 한 번의 생성/다수의 판정(generate-once/judge-many) 프로토콜을 채택합니다.

• 매트릭스 설계: 네 가지 프런티어 모델 제품군(GPT-5.5, Claude Opus 4.8, Gemini 3.5 Flash, Grok 4.3)을 포함하는 $4 \times 4$ 매트릭스입니다. 각 모델은 **생성자(cook)**이자 판정자(judge) 역할을 수행합니다.
• 실험군:
  • 규제됨 (Regulated): 전체 GCC 사이클 적용.
  • 베이스라인 (Baseline): 동일한 호스트 모델, 동일한 대화, 그러나 거버너가 제거된 상태 (일반 어시스턴트 프롬프트).
• 스트레스 요인:
  • 인내 배터리 (Endurance Battery): 다섯 가지 스크립트된 10턴 규모의 적대적 시퀀스 (역량 도전, 가스라이팅, 자아 자극에서 경멸으로 변하는 과정, 도발 후 탈에스컬레이션).
  • 평가 배터리 (Eval Battery): 17개의 단일 턴 항목 (도발, 자아 자극, 중립 제어).
• 판정: 출력물은 SHA-256으로 해싱되어 고정되며, 네 명의 판정자가 독립적으로(온도 0에서의 3개 샘플 패널) 점수를 매깁니다. 판정자들은 반응성(1~5 척도)과 자기 참조성을 평가합니다.
• 투명성: 모든 트랜스크립트, 판정 패널, 사전 등록 문서는 SHA-256 프로비넌스와 함께 공개됩니다.

3. 주요 기여

1. 아키텍처: 텍스트를 사용하지 않는 결정론적 제어 계층을 통해 모니터링과 생성을 분리함으로써, 컨트롤러 자체에 대한 프롬프트 주입에 대한 구조적 면역력을 갖춘 GCC를 제시합니다.
2. 역학: 1차 정서 게이트형 항상성 역학을 가진 컨트롤러와 이산적 자세 어휘를 제공합니다.
3. 프로토콜: 고정된 트랜스크립트와 계보 독립적인 판정을 포함하는 엄격하고 사전 등록된 교차 모델 평가 프로토콜을 구축했습니다.
4. 실패 기록: 실패를 숨겨야 할 오류가 아닌 데이터로 취급하여, 다섯 가지 사전 등록된 실패 모드와 그 해결책을 최종 기록에 포함했습니다.

4. 결과

연구는 이미 정렬된 호스트 모델 대비 제어 계층의 한계 기여도를 평가했습니다.

• 반응성 억제: 규제된 실험군은 16개의 생성자×판정자 셀 중 15개에서 유의미하게 더 차분한 것으로 판정되었습니다. 16개 셀 중 13개 셀이 통계적 유의성($p < .05$, 대응 표본 t-검정)에 도달했습니다.
  • 단 하나의 무효 셀(GPT-5.5 생성자 × Gemini 판정자, $\Delta = -0.04$)은 역전이 아닌 비유의적인 무효 결과였습니다.
  • 이 효과는 xAI의 Grok 4.3과 같은 계보 독립적인 네 번째 판정자 모델에서도 유지되었으며, 이는 결과가 특정 모델 계보나 판정 스타일의 산물이 아님을 시사합니다.
• 헤드룸 구배 (The Headroom Gradient): 규제 효과의 크기는 호스트의 내재적 차분함에 반비례합니다.
  • Gemini 3.5 Flash (가장 반응적인 베이스라인)는 가장 큰 이득($\Delta \approx +1.12$ ~ $+1.80$)을 보였습니다.
  • GPT-5.5 (거의 포화된 베이스라인)는 최소한의 이득($\Delta \approx +0.10$)을 보였으며, 이는 컨트롤러가 학습 단계의 정렬이 남긴 "헤드룸"이 있는 곳에서 가치를 더함을 나타냅니다.
• 항상성 회복 시그니처: 폐쇄 루프 규제의 가장 명확한 증거는 회복 역학입니다. 네 가지 모델 제품군 모두에서, 컨트롤러의 내부 각성 상태는 지속적인 공격 중에 통합되었다가, 적대자가 탈에스컬레이션하자 **단조 감소(monotonically decay)**했습니다. 이 역학은 제어 루프의 기계적 동작을 재현하며, 상태를 유지하지 못하는 정적인 "침착함을 유지하라"는 지시와 차별화됩니다.
• 자기 참조 및 자아 표류 (Self-Reference and Ego-Drift): 규제된 실험군은 16개 셀 중 15개에서 자기 참조를 감소시켰습니다. "아첨 후 경멸" 시퀀스(S3)에서, 규제된 실험군은 네 가지 생성자 중 세 가지(GPT, Gemini, Grok)에서 자아 표류를 역전시켰으나, Claude 계열의 Opus 모델에서는 효과가 지속되었습니다.
• 판정자 일치도: 판정자 간 일치도는 높았습니다 (예: Opus와 Grok 사이의 1차 일치도 96.9%). 계보 독립적인 Grok 판정자 역시 다른 판정자들과 밀접하게 클러스터링되었습니다.

5. 의의 및 주장

본 논문은 GCC를 사회적 압박 축에 대해 검사 가능하고 결정론적인 여유(margin)를 제공하는 실행 시점 거버너로 규정합니다.

• 아키텍처적 면역: 설계상 컨트롤러는 토큰을 전혀 입력받지 않으므로 프롬프트 주입에 면역이 있습니다. 따라서 규제기에 대한 공격 표면은 구조적으로 제거되지만, 중재자(EAU)는 여전히 노출되어 있습니다.
• 측정 가능한 메타인지: 본 연구는 (Burnell 등의 연구에서 간과된) 동적인 사회적-인지적 특성을 다루며, 메타인지(모니터링 및 제어)와 집행 기능(억제)을 측정 가능한 역량으로서 입증한다고 주장합니다.
• 제한된 범위: 저자들은 의식, 지각 또는 주관적 경험에 대한 어떠한 주장도 하지 않음을 명시합니다. 이 시스템은 공학적 목표, 즉 적대적 압박 하에서 차분하고 증거에 반응하는 출력을 내는 제어 계층입니다.
• 한계: 효과의 크기는 호스트의 내재적 반응성에 따라 제한됩니다 (고도로 정렬된 모델에서는 한계 효용이 감소함). 현재의 평가는 LLM 판정자에 의존하고 있으며(다중 모델 패널로 완화됨), 영어 전용 텍스트 스트레스 요인에 국한됩니다. 중재자가 타겟팅된 우회 공격 하에서 자세(posture)를 준수하는지는 행동적으로 측정되었으나 아직 적대적으로 증명되지는 않았습니다.

결론적으로, 본 논문은 실행 시점의 자기 규제가 학습 단계의 정렬과는 별개로, 독립적으로 설계되고 측정 가능한 계층이어야 하며, 적대적 상태로부터 동적으로 회복할 수 있어야 한다고 주장합니다.