From Actions to Understanding: Conformal Interpretability of Temporal Concepts in LLM Agents

1. 문제 정의 (Problem Statement)

• 배경: 대규모 언어 모델 (LLM) 이 상호작용 환경 (Embodied Environments) 에서 자율 에이전트로서 복잡한 다단계 추론 및 계획 작업을 수행하는 능력이 급격히 향상되었습니다. (예: AlfWorld, ScienceWorld)
• 핵심 문제: 에이전트가 작업을 성공적으로 완료하든 실패하든, 그 내부의 **시간적 추론 과정 (Temporal Reasoning Process)**은 여전히 '블랙박스' 상태입니다.
  • 기존 해석 가능성 (Interpretability) 기법들은 주로 정적인 단일 입력 (이미지, 텍스트) 에 초점을 맞추고 있어, 에이전트의 행동이 시간의 흐름에 따라 어떻게 변해가는지 (예: 초기에는 올바른 추론을 하다가 중간에 환각으로 인해 실패 경로로 이탈하는 경우) 를 파악하기 어렵습니다.
  • 최종 결과 (성공/실패) 만으로는 작업 수행 과정에서 **어느 시점 (Step)**에 에이전트의 내부 표현이 왜곡되었는지 식별할 수 없습니다.
• 목표: LLM 에이전트의 내부 표현 공간에서 '성공'과 '실패'의 개념이 시간적 단계별로 어떻게 진화하는지 해석 가능하게 만들고, 이를 통해 실패를 조기에 감지하고 개입할 수 있는 프레임워크를 구축하는 것입니다.

2. 제안 방법론 (Methodology)

저자들은 **합동 해석 가능성 프레임워크 (Conformal Interpretability Framework)**를 제안하며, 이는 크게 세 가지 핵심 구성 요소로 이루어집니다.

A. 단계별 보상 모델링 (Step-Wise Reward Modeling)

• 문제: 기존 강화학습은 작업 완료 시점의 희소 보상 (Sparse Reward) 만을 제공하여 각 단계의 기여도를 평가하기 어렵습니다.
• 해결: Xiong et al. [41] 의 접근법을 차용하여, 에이전트의 현재 상태와 학습된 정책 (Policy) 을 기반으로 **몬테카를로 샘플링 (Monte Carlo Sampling)**을 수행합니다.
• 과정: 현재 단계 $t$에서 미래의 가능한 전체 경로를 시뮬레이션하여, 해당 단계가 최종 성공으로 이어질 확률 (기대 보상) 을 계산합니다. 이를 통해 희소한 최종 보상을 **밀도 있는 단계별 보상 (Dense Step-wise Rewards)**으로 변환합니다.

B. 합동 예측을 통한 통계적 라벨링 (Statistical Labeling via Conformal Prediction)

• 목표: 계산된 단계별 보상을 '성공 (Success)' 또는 '실패 (Failure)'로 라벨링할 때, 오류에 대한 **통계적 보장 (Statistical Guarantee)**을 제공하기 위함입니다.
• 기법: **유도적 합동 이상 탐지 (Inductive Conformal Anomaly Detection, ICAD)**를 사용합니다.
  • 보정 집합 (Calibration Set) 을 사용하여 각 단계의 보상이 성공 분포나 실패 분포에 얼마나 부합하지 않는지 (Non-conformity score) 를 측정합니다.
  • 이를 통해 $p$-value 를 계산하고, 사용자가 정의한 유의 수준 ($\epsilon$) 을 기준으로 라벨을 할당합니다.
  • 핵심 이점: 성공을 실패로 잘못 라벨링하거나 (False Negative), 실패를 성공으로 잘못 라벨링할 (False Positive) 확률을 수학적으로 엄격하게 제어할 수 있습니다.

C. 잠재 방향 탐지 (Probing Latent Directions)

• 가설: 다단계 작업을 수행하도록 미세 조정 (Fine-tuning) 된 LLM 은 내부 표현 공간에서 '성공'과 '실패'가 **선형적으로 분리 가능 (Linearly Separable)**한 방향을 가지고 있을 것이다.
• 실험:
  • 각 시간 단계 $t$와 레이어 $L$에서의 에이전트 잔류 스트림 (Residual Stream) 활성화 벡터 $h^L_t$를 추출합니다.
  • 위 (B) 단계에서 통계적으로 라벨링된 데이터를 기반으로 **선형 프로브 (Linear Probes)**를 훈련시켜, 내부 표현이 성공인지 실패인지 분류합니다.
  • 프로브의 분류 정확도가 높다면, 에이전트 내부에 성공/실패를 구분하는 명확한 기하학적 구조가 존재함을 의미합니다.

3. 주요 기여 (Key Contributions)

1. 시간적 해석 가능성 프레임워크: LLM 에이전트의 다단계 추론 과정을 정적 분석이 아닌, 단계별 (Step-wise) 로 분석할 수 있는 새로운 패러다임을 제시했습니다.
2. 통계적 엄밀성: 단순한 분류가 아닌, 합동 예측 (Conformal Prediction) 을 도입하여 라벨링 오류에 대한 확률적 상한선을 제공함으로써 해석 결과의 신뢰성을 높였습니다.
3. 선형 분리 가능성 증명: LLM 의 내부 표현 공간에서 성공과 실패의 개념이 시간적, 계층적 (Layer-wise), 도메인 간 (In-distribution/OOD) 으로 선형적으로 분리 가능함을 실험적으로 입증했습니다.
4. 지향성 개입 (Steering) 가능성: 식별된 '성공 방향'을 활용하여 모델의 추론 경로를 실시간으로 수정 (Steering) 하고, 이를 통해 에이전트의 성능을 향상시키는 가능성을 보여주었습니다.

4. 실험 결과 (Experimental Results)

두 가지 시뮬레이션 환경 (ScienceWorld, AlfWorld) 에서 Llama-2-7B 모델을 기반으로 실험을 수행했습니다.

• ScienceWorld (과학 추론 환경):
  • 성능: 선형 프로브가 분포 내 (In-distribution) 테스트 세트에서 거의 100% 에 가까운 정확도와 높은 F1 점수를 기록했습니다. 분포 외 (Out-of-Distribution) 데이터에서도 높은 성능을 보였습니다.
  • 의미: 모델이 단계별 성공/실패 개념을 명확하게 인코딩하고 있음을 시사합니다.
• AlfWorld (가정 환경):
  • 성능: ScienceWorld 보다는 정확도가 다소 낮았으나 (약 60~95%), 여전히 유의미한 선형 분리 가능성을 보였습니다.
  • 원인 분석: AlfWorld 는 최종 보상만 제공하는 반면, ScienceWorld 는 하위 목표에 대한 중간 보상을 제공하여 단계별 피드백이 더 밀도 있게 형성되었기 때문으로 분석됩니다.
• 모델 지향 (Steering) 실험:
  • 탐지된 '성공 방향'을 사용하여 모델의 내부 상태를 조정 (Steering) 하는 실험을 수행했습니다.
  • 결과: 초기 단계 (Step 3) 에서의 단일 개입만으로도 모델의 정확도가 1.1% 향상되었습니다. 이는 비용이 많이 드는 Best-of-N 샘플링이나 DPO 등의 방법과 비교해도 경쟁력 있는 결과입니다.
  • 효과: 지시 사항 순서를 잘못 따르거나 중간에 환각 (Hallucination) 으로 인해 경로 이탈하는 실패 모드를 성공적으로 교정했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 조기 실패 감지 및 개입: 에이전트가 작업을 수행하는 도중, 실패가 확정되기 전에 내부 표현의 변화를 감지하여 개입할 수 있는 체계를 마련했습니다.
• 신뢰할 수 있는 자율 에이전트: 복잡한 상호작용 환경에서 LLM 에이전트의 의사결정 과정을 투명하게 만들고, 이를 통해 신뢰성을 높이는 데 기여합니다.
• 미래 방향: 이 프레임워크는 멀티모달 환경으로 확장 가능하며, 해석 가능한 시간적 피드백을 통해 자율 에이전트의 능동적 (Proactive) 인 지향 (Steering) 을 가능하게 할 것으로 기대됩니다.

이 논문은 LLM 에이전트의 '블랙박스'인 내부 추론 과정을 통계적으로 엄밀하게 해석하고, 이를 실제 성능 향상으로 연결하는 중요한 이정표가 되는 연구입니다.