Separable Pathways for Causal Reasoning: How Architectural Scaffolding Enables Hypothesis-Space Restructuring in LLM Agents

1. 연구 배경 및 문제 제기 (Problem)

• 인과적 추론의 한계: 현재 대형 언어 모델 (LLM) 은 훈련 데이터에 기반한 인과적 지식을 재현하거나 회상 (Retrieval) 하는 데는 능숙하지만, 새로운 증거를 통해 **자신의 가설 공간 자체를 수정하거나 확장 (Restructuring)**하는 능력은 부족합니다.
• 기존 접근법의 결함: 대부분의 AI 에이전트는 고정된 규칙 구조 내에서만 변수 간의 관계를 학습합니다. 그러나 실제 세계에서는 규칙 자체가 변하거나 (Regime Change), 새로운 인과적 차원이 등장할 수 있습니다. 이러한 상황에서 에이전트는 기존 프레임워크를 버리고 새로운 추론 구조를 구축해야 하지만, 현재 AI 는 이를 수행하지 못합니다.
• 핵심 질문: AI 에이전트가 고정된 가설 공간 내에서 추론하는 능력 (Reasoning Quality) 과, 증거가 부족할 때 가설 공간 자체를 확장하는 능력 (Reasoning Eligibility) 을 분리하여 설계하고 검증할 수 있는가?

2. 방법론 (Methodology)

2.1 확장된 블리켓 탐지기 벤치마크 (Extended Blicket Benchmark)

• 기존 패러다임: 발달 심리학의 '블리켓 탐지기 (Blicket Detector)' 과제를 확장했습니다. 에이전트는 물체를 기계에 올려놓아 활성화 여부를 관찰하며, 어떤 물체가 '블리켓 (인과적 활성 물체)'인지와 활성화 규칙 (결합형 vs. 선택형) 을 추론해야 합니다.
• 핵심 실험 조건 (Hidden Moderator):
  • 실험 중간에 규칙이 은밀하게 변경되는 조건을 도입했습니다.
  • 예: 처음에는 물체 A 와 B 가 동시에 있어야 작동 (결합형) 하다가, 일정 횟수 활성화 후 물체 C 하나만 있으면 작동 (선택형) 하도록 규칙이 바뀝니다.
  • 에이전트는 규칙 변경을 감지하고, 새로운 규칙을 발견하기 위해 기존 가설을 폐기하고 새로운 차원을 탐색해야 합니다.
• 새로운 지표: **추론 자격 정확도 (Reasoning-Eligible Accuracy, RE Accuracy)**를 도입했습니다. 규칙 변경 전에 답을 제출하거나 (구조적 함정), 변경 후에도 증거를 수집하지 않고 답을 제출하는 경우를 제외하고, 실제로 규칙 변경을 감지하고 추론할 기회가 있었을 때의 정확도를 측정합니다.

2.2 구성적 아키텍처 (Compositional Architecture)

논문의 핵심은 두 가지 독립적인 구성 요소를 가진 계층적 아키텍처를 제안하는 것입니다:

1. 컨텍스트 그래프 (Context Graph, CG):

   • 역할: 고정된 가설 공간 내에서 **추론의 질 (Reasoning Quality)**을 높입니다.
   • 구조: 상태 머신 (State Machine) 기반의 그래프로, '탐색', '조합 테스트', '가설 평가', '검증'과 같은 명시적인 단계를 정의합니다.
   • 기능: 에이전트가 체계적으로 물체 조합을 테스트하고 인과 규칙을 추론하도록 유도합니다.

2. 동적 행동 (Dynamic Behaviors, DB):

   • 역할: **추론 자격 (Reasoning Eligibility)**을 결정합니다. 즉, 현재 가설 공간이 부적합하다는 증거를 감지하고 가설 공간을 확장합니다.
   • 메커니즘: 런타임 모니터링으로 작동하며, 에이전트의 관찰 데이터가 기존 모델과 모순될 때 (예: 규칙 변경 감지) 트리거됩니다.
   • 작동: 트리거가 발동되면 컨텍스트 그래프에 새로운 상태 (예: MODERATOR_DETECTION) 와 전이 조건을 추가하여 에이전트의 탐색 공간을 동적으로 확장합니다. 이는 발달 심리학의 '초가설 (Overhypothesis)' 학습을 계산적으로 구현한 것입니다.

2.3 실험 설계

• 비교 대상:
  1. Base: 아키텍처 스캐폴딩이 없는 기본 LLM.
  2. CG: 컨텍스트 그래프만 적용된 에이전트.
  3. CG+DB: 컨텍스트 그래프와 동적 행동을 모두 적용한 에이전트.
• 절단 분석 (Ablation Study): 각 구성 요소의 기여도를 분리하여 평가했습니다.

3. 주요 결과 (Key Results)

3.1 분리된 경로 (Separable Pathways) 발견

실험 결과 (1,085 회 실험), 두 구성 요소는 서로 직교 (Orthogonal) 하는 방식으로 기여하는 것으로 확인되었습니다.

• 컨텍스트 그래프 (CG) 의 기여:

  • 규칙 변경 후의 **추론 질 (Reasoning Quality)**을 결정합니다.
  • CG+DB 에이전트의 RE 정확도 향상분 (Base 대비) 중 **94%**를 CG 가 설명했습니다.
  • 체계적인 조합 테스트를 통해 복잡한 규칙 (예: 3 개의 물체가 필요한 결합형 규칙) 을 성공적으로 추론하게 합니다.

• 동적 행동 (DB) 의 기여:

  • **추론 자격 (Reasoning Eligibility)**을 결정합니다.
  • 규칙 변경을 감지하여 에이전트가 **구조적 함정 (Exactly-N Trap)**에 빠지는 것을 방지합니다.
  • CG 에이전트는 규칙 변경을 감지하지 못해 변경 전의 가설로 답을 제출하는 경우가 많았으나, DB 가 추가된 CG+DB 는 규칙 변경을 감지하고 재탐색을 시작하여 함정을 피했습니다.

3.2 성능 비교

• 규칙 변경 조건 (Hidden Moderator):
  • CG+DB: 95.3% (RE 정확도), 90.0% (전체 정확도)
  • CG: 93.9% (RE 정확도) 이지만, 규칙 변경을 감지하지 못해 전체 정확도는 68.0% 로 낮아짐.
  • Base: 73.3% (RE 정확도), 87.3% (전체 정확도 - 우연히 함정을 피한 경우 포함).
• 결론: CG 는 추론 능력을 극대화하지만, DB 가 없으면 규칙 변경을 놓쳐 실패합니다. 반대로 DB 는 함정을 피하게 하지만, 체계적인 추론 (CG) 이 없으면 복잡한 규칙을 찾아내지 못합니다. 두 요소 모두 필수적입니다.

3.3 경계 조건 (Boundary Conditions)

아키텍처의 이점이 모든 작업에 적용되는 것은 아님을 확인했습니다.

• 확률적 조건 (Stochastic): 활성화 확률이 불규칙한 경우, 아키텍처가 이 현상을 감지하더라도 통계적 추론 능력이 부족하여 성능 향상이 없었습니다.
• 순서 민감 조건 (Order-sensitive): 물체 배치 순서가 중요한 경우, 정보 부족으로 인해 아키텍처의 이점이 나타나지 않았습니다.
• 의미: 이 아키텍처는 **가설 공간 재구성 (Hypothesis-Space Restructuring)**이 필요한 작업에 특화되어 있으며, 고정된 프레임워크 내의 통계적 추론이나 정보 부족 환경에서는 효과가 제한적입니다.

4. 주요 기여 (Key Contributions)

1. 확장된 블리켓 벤치마크 (Extended Blicket Benchmark):

   • 실험 중간에 규칙이 변경되는 'Hidden Moderator' 조건을 도입하여, AI 의 가설 공간 재구성 능력을 평가하는 표준화된 도구로 제시했습니다.
   • RE Accuracy와 같은 새로운 지표를 통해 구조적 함정과 실제 추론 실패를 구분하는 방법론을 정립했습니다.

2. 분리된 경로 (Separable Pathways) 발견:

   • 인과적 추론의 '질 (Quality)'과 '자격 (Eligibility)'이 서로 다른 아키텍처 구성 요소에 의해 담당됨을 실험적으로 증명했습니다.
   • 이는 계층적 베이지안 추론 (Hierarchical Bayesian Inference) 과 유사한 기능을 수행하되, 모듈화되어 각 구성 요소의 기여도를 명확히 분리할 수 있음을 보여줍니다.

3. 아키텍처적 해법의 가능성 제시:

   • AI 의 인과적 추론 부족이 단순히 데이터나 모델 크기 (Scaling) 의 문제가 아니라, 아키텍처적 결함일 수 있음을 시사합니다.
   • 적절한 스캐폴딩 (Context Graph + Dynamic Behaviors) 을 통해 AI 가 인간의 발달적 학습 (초가설 학습) 과 유사한 능력을 획득할 수 있음을 입증했습니다.

5. 의의 및 결론 (Significance)

이 연구는 AI 에이전트가 고정된 지식 베이스에 의존하는 것을 넘어, 새로운 증거에 기반하여 자신의 추론 프레임워크를 실시간으로 재구성할 수 있는 능력을 구현하는 데 중요한 이정표가 됩니다.

• 해석 가능성 (Interpretability): 동적 행동의 트리거 발동은 규칙 변경이 언제, 어떻게 감지되었는지에 대한 명확한 감사 추적 (Audit Trail) 을 제공합니다. 이는 블랙박스 모델의 추론 과정을 해석 가능하게 만듭니다.
• 실제 적용 가능성: 의료 프로토콜 변경, 사이버 보안 위협의 진화, 금융 규제 변화 등 **예상치 못한 규칙 변경 (Regime Change)**이 발생하는 실제 환경에서 AI 가 적응적으로 대응할 수 있는 기반을 마련했습니다.
• 미래 전망: 현재는 설계자가 미리 정의한 초가설 (Overhypotheses) 만을 선택하지만, 향후 에이전트가 경험으로부터 새로운 초가설 자체를 유도 (Induction) 할 수 있다면 AI 와 인간의 인과적 학습 간 격차는 더욱 좁혀질 것입니다.

요약하자면, 이 논문은 **구조화된 상태 표현 (Context Graph)**과 **런타임 모니터링 (Dynamic Behaviors)**의 결합이 AI 에게 진정한 인과적 추론과 적응적 학습을 가능하게 하는 핵심 메커니즘임을 입증했습니다.