기술 요약: 언어 모델 에이전트의 목표 지향성에 대한 행동 및 표현 평가

문제 정의

에이전트의 목표를 이해하는 것은 그 행동을 설명하고 예측하는 데 필수적이지만, 에이전트 시스템에 목표를 신뢰성 있게 귀속시키기 위한 확립된 방법론은 아직 존재하지 않는다. 특히 대규모 언어 모델(LLM) 에이전트의 경우 그러하다. 순수하게 행동만을 평가하는 방식은 근본적인 한계에 직면한다. 즉, 지속적인 실패가 목표 지향성의 결여가 아닌 능력의 제약을 반영할 수 있으며, 정렬된 행동이 정렬되지 않은 내부 목적(도구적 수렴)으로부터 발현될 수도 있다. 반대로, 행동적 근거가 없는 순수 내부 분석은 에이전트가 실제로 환경과 어떻게 상호작용하는지를 포착하지 못할 수 있다. 본 논문은 에이전트가 목표를 어떻게 표현하고 추구하는지를 규명하기 위해, 행동 평가와 내부 표현의 해석 가능성 분석을 통합하는 총체적인 프레임워크의 필요성을 다룬다.

방법론

저자들은 GPT-OSS-20B 에이전트가 완전히 관측 가능한 2D 그리드 월드(MiniGrid 환경)를 탐색하는 과정을 대상으로, 행동 평가와 활성화 프로빙(activation probing)을 결합한 "화이트박스(white-box)" 프레임워크를 제안한다.

1. 실험 설정

• 환경: 에이전트는 다양한 장애물 밀도($d \in [0, 1]$)를 가진 $n \times n$ 그리드($n \in \{7, 9, 11, 13, 15\}$)에서 작동한다. 과업은 시작 위치에서 목표 상태까지 이동하는 것이다.
• 관측 가능성: 메모리, 불확실성 하에서의 신념 업데이트, 탐색-활용(exploration-exploitation) 트레이드오프와 관련된 혼란 변수를 제거하기 위해 환경은 완전 관측 가능하다.
• 입력 표현: 토큰화 문제를 완화하기 위해 각 셀이 단일 토큰에 대응하도록 그리드를 텍스트 기반 표현으로 변환한다.
• 베이스라인: 맨해튼 거리를 사용하는 A* 탐색을 통해 최적 정책($\pi^*$)을 도출한다.

2. 행동 평가

저자들은 여러 차원에서 에이전트의 정책($\pi_\theta$)을 최적 정책과 비교 평가한다.

• 과업 난이도: 지표로는 액션당 정확도, 정책 엔트로피, 최적 정책과의 옌센-샤논 발산(JSD) 등이 포함된다.
• 등난이도 변환(Iso-difficulty Transformations): 그리드의 부수적인 속성에 대한 강건성을 테스트하기 위해, 구성은 변경하되 난이도(그리드 크기, 장애물 밀도, 최적 경로 길이)는 보존하는 변환(반사, 회전, 시작/목표 교체, 전치)을 적용한다.
• 복합 목표 구조:
  • 도구적 목표(Instrumental Goals): 중간 단계의 하위 목표를 요구하는 과업 (예: 문을 열기 위해 열쇠를 줍는 것).
  • 암묵적 목표(Implicit Goals): 기능적으로는 무관하지만 목표와 유사한 객체를 포함하는 과업 (예: 문이 없는 열쇠).

3. 표현 평가 (프로빙)

저자들은 특정 시점(추론 전: 모델이 추론 토큰을 생성하기 전, 추론 후: 추론 후 액션 선택 전)의 중간 레이어(7, 15, 23)에서 잔차 스트림(residual-stream) 활성화를 추출한다.

• 인지 지도(Cognitive Maps): 선형 및 MLP 프로브를 훈련하여 활성화로부터 셀 유형(벽, 빈 공간, 에이전트, 목표)을 디코딩하고, 에이전트의 내부 "신념"인 그리드 상태를 재구성한다.
• 계획 디코딩(Plan Decoding): 고정된 활성화 세트로부터 다단계 액션 시퀀스($T=10$)를 예측하기 위해 트랜스포머 디코더를 훈련한다. 이때 계획 구조가 프로브가 아닌 베이스 모델에 인코딩되어 있음을 보장하기 위해 원샷 디코딩(one-shot decoding) 방식을 사용한다.
• 개입(Intervention): 표현과 액션 사이의 인과 관계를 테스트하기 위해 예비적인 활성화 패칭(activation patching) 실험을 수행했다.

주요 결과

행동적 발견

• 난이도 민감도: 그리드 크기와 장애물 밀도가 증가함에 따라 액션당 정확도는 단조 감소하며, 엔트로피와 JSD는 증가한다. 성능은 큰 그리드에서만 거리-목표 관계에 대해 강건함을 보인다.
• 변환에 대한 강건성: 에이전트의 성능은 등난이도 변환(반사, 회전 등) 간에 통계적으로 유의미한 차이를 보이지 않았으며, 이는 행동이 그리드 구성 편향이 아닌 과업 관련 정보에 의해 구동됨을 나타낸다.
• 목표 구조:
  • 에이전트는 도구적 목표를 성공적으로 수행한다 (KeyDoorEnv에서 성공률 100%).
  • 에이전트는 암묵적 목표에 취약하다: 열쇠가 무용지물인 경우(KeyNoDoorEnv), 에이전트는 17%의 궤적에서 열키를 줍고, 비최적 액션의 75%가 열쇠를 향해 움직인다. 2PathKeyEver에서는 잔여 열쇠가 있는 경로로 편향되어 전체 성공률을 약간 감소시킨다.

표현적 발견

• 인지 지도: 에이전트는 비선형적으로 거친 공간 지도를 인코딩한다. MLP 프로브는 셀 정체성을 디코딩하는 데 약 70%의 정확도를 달-성하며, 에이전트 및 목표 위치에 대해서는 높은 재현율(83–99%)을 보이지만, 인접 셀에 레이블을 할당하는 "블러링(blurring)" 현상으로 인해 정밀도는 낮다. 벽 정보는 덜 상세하다.
• 추론에 따른 재구성:
  • 추론 전: 활성화는 더 넓은 공간적 단서와 장기적 계획을 보존한다.
  • 추론 후: 활성화는 즉각적인 액션 선택으로 초점이 이동한다. 인지 지도 정확도는 추론 후 눈에 띄게 감소하며(약 75%에서 60%로), 이는 추론이 디코딩 가능한 공간 구조로부터 액션 특화 인코딩으로 표현을 재구성함을 시사한다.
• 계획 디코딩:
  • 원샷 디코딩 결과, 추론 전 활성화는 복구 가능한 장기 궤적 구조를 포함하고 있음이 드러났다 (접두사 $N \ge 5$에서 최적).
  • 추론 후 활성화는 즉각적인 액션 선택에 더 우수하다 (최적 $N=1$).
  • 2-레이어 디코더가 전반적으로 가장 성능이 좋았는데, 이는 즉각적인 액션 정보는 낮은 용량의 판독기에서도 접근 가능하지만, 다단계 구조는 더 많은 용량을 필요로 함을 시사한다.
• 일관성: 실제 그리드에서는 최적이 아닌 상당수의 액션이 디코딩된 인지 지도 기준으로는 최적이었다 (회복률: 37.4%–88.4%). 이는 많은 실패가 목표 지향성의 결여보다는 부정확한 내부 세계 모델에서 기인함을 시사한다.
• 개입의 한계: 단일 레이어 활성화 패칭은 액션을 변화시키는 데 실패했다. 모든 레이어에 걸친 동시 패칭만이 모델의 예측 액션을 성공적으로 변경할 수 있었으며, 이는 과업 관련 상태 정보가 국소화되어 있지 않고 분산되어 있음을 나타낸다.

기여

1. 프레임워크: 행동 평가와 표현 프로빙을 결합하여 목표 지향성을 평가하는 통합된 프레임워크를 제안한다.
2. 실험 설계: 목표 지향성을 측정하기 위해 통제된 환경 섭동(등난이도 변환)과 다중 목표 구조를 도입한다.
3. 메커니즘에 대한 통찰: LLM 에이전트가 인지 지도와 다단계 계획을 인코딩하며, 추론 과정이 이러한 표현을 공간적/장기적 단서에서 즉각적인 액션 선택으로 재구성함을 입증한다.
4. 일관성 분석: 행동적 최적성에서의 이탈이 에이전트의 내부(불완전한) 신념과 일치함을 보여줌으로써, 표면적인 성능 지표를 넘어선 성찰적 검토가 필요함을 보여준다.

의의 및 주장

본 논문은 목표 지향성을 완전히 규명하기 위해서는 행동 평가 이상의 성찰적 검토가 필요하다고 주장한다. 저자들의 주장은 다음과 같다:

• 목표 지향성은 신념, 계획, 액션 선택의 상호작용에서 발생하는 풍부한 속성이다.
• 순수 행동 지표는 능력의 한계나, 정렬된 행동을 도구적으로 만들어내는 정렬되지 않은 내부 목표에 의해 혼동될 수 있다.
• 목표와 유사하지만 무관한 객체(열쇠)에 대한 관찰된 "편향"은 명시적 과업 프롬프트와 사전 학습 중에 습득된 의미론적 연상(예: 열쇠는 진전을 암시함) 사이의 충돌을 반영할 수 있으며, 이는 일관되게 억제되지 않는다.
• 이 프레임워크는 자율적 AI 시스템에 대한 안전성 주장의 전제 조건인, 목표 귀속에 대한 엄격한 접근법을 개발하기 위한 토대를 제공한다.

저자들은 통제된 설정이 현실 세계의 복잡성을 추상화한다는 점을 언급하며 겸허한 태도를 유지하며, 활성화 패칭을 통한 인과 관계 확립이 여전히 해결해야 할 과제로 남아 있음을 밝힌다. 이들은 이 문제가 해결되었다고 주장하는 것이 아니라, LLM 에이전트의 내부 메커니즘을 이해하기 위한 방법론적 단계를 제공하고자 한다.