기술 요약: 도구 호출 의존성 구조는 LLM 에이전트 잔여 스트림에서 선형적으로 디코딩 가능함

문제 제기

기계적 해석 가능성 (mechanistic interpretability) 이 정적 구조 (예: 구문 트리, 보드 상태, 사실적 지식) 를 LLM 이 어떻게 표현하는지 성공적으로 규명해 왔음에도 불구하고, 도구를 사용하는 에이전트의 동적 실행 구조가 모델의 내부 상태에 인코딩되어 있는지 여부는 여전히 불분명합니다. 구체적으로, 에이전트가 생성과 외부 함수 호출을 교차하여 수행할 때, 이전 도구 출력은 종종 후속 호출의 인자를 제공하여 의존성의 방향성 비순환 그래프 (DAG) 를 형성합니다. 이러한 런타임 의존성 그래프가 에이전트의 잔여 스트림에 명시적으로 표현되는지, 그러한 표현이 인과적인지, 혹은 에이전트의 일반적 속성인지 특정 벤치마크에 국한된 것인지 여부는 알려지지 않았습니다.

방법론

저자들은 $\tau$-bench 리테일 도메인 내에서 Qwen3-32B 모델 (및 Llama-3.3-70B에서 재현) 에 대해 구조적 프로빙 (structural probing) 접근법을 사용하여 이 질문을 조사했습니다.

1. 오라클 구성: $\ge 2$개의 도구 호출을 포함하는 궤적 (trajectories) 에 대해 저자들은 "오라클" 도구 호출 DAG 를 구성합니다. 호출 $i$의 출력에서 연속적이고 대소문자를 구분하며 공백을 정규화한 부분 문자열 (길이 $\ge 4$) 이 호출 $j$의 직렬화된 JSON 인자에 그대로 나타나는 경우, 엣지 $i \to j$를 정의합니다. 이는 프로브를 위한 이진 엣지 레이블을 정의합니다.
2. 프로브 아키텍처: 호출 $i$와 $j$의 종료 경계 토큰에서 추출된 잔여 스트림 벡터를 연결한 것을 기반으로 엣지 $(i, j)$의 존재를 예측하도록 훈련된 저용량 L2 정규화 로지스틱 회귀 프로브를 사용합니다. 벡터는 고정된 레이어 집합 $\{0, 14, 28, 41, 50, 57, 64\}$에 걸쳐 평균 풀링됩니다.
3. 평가 프로토콜:
   • 교차 검증: 궤적별 Leave-One-Group-Out (LOGO) 교차 검증을 통해 홀드아웃된 궤적의 어떤 토큰도 해당 훈련 폴드에 포함되지 않도록 보장합니다.
   • 통제: 연구는 포괄적인 통제 배터리 (battery of controls) 를 사용합니다:
     • Hewitt–Liang 무작위 레이블 통제: 엣지 레이블을 무작위 순서로 재배열하여 암기를 배제합니다.
     • 위치 기반 베이스라인: 단순 호출 순서와 구조적 인코딩을 분리하기 위한 5 개 특성 베이스라인 ($[i, j, j-i, n_{agent}, j/n_{agent}]$) 입니다.
     • *표면 형태 상한 (Surface-Form Ceiling):$n$-그램 중첩과 도구 이름을 기반으로 한 디코더를 사용하여 신호가 단순히 텍스트적이지 않은지 확인합니다.
     • 무작위 초기화 통제: 훈련에 기인한 신호를 분리하기 위해 무작위로 초기화된 모델을 사용합니다.
   • 반사실적 (Counterfactuals): 저자들은 값 손상 (value corruption) (출력 내 ID 교체) 과 구조적 교란 (structural perturbation) (출력을 빈 결과로 재작성) 을 수행하여 프로브가 추상적 위상 (topology) 을 추적하는지 아니면 특정 식별자 값을 추적하는지 테스트합니다.
   • 활성화 패치 (Activation Patching): 인과성을 테스트하기 위해 저자들은 소스 호출의 잔여 스트림에 "기증자" 궤적의 특성을 패치하고, 이후 패치되지 않은 경계에서 프로브의 판독값 변화를 측정합니다.

주요 기여 및 결과

1. 의존성 그래프의 선형 디코딩 가능성

도구 호출 의존성 그래프는 고정된 잔여 스트림에서 선형적으로 디코딩 가능합니다.

• 성능: 다중 레이어 프로브는 홀드아웃된 쌍에서 AUROC 0.869를 달성합니다.
• 유의성: 이는 Hewitt–Liang 무작위 레이블 통제 (최대 AUROC 0.565, $p < 10^{-4}$) 와 위치 기반 베이스라인 (AUROC 0.792) 보다 현저히 우수합니다. 잔여 스트림은 위치 기반 베이스라인 대비 조건부 AUROC 격차 +0.0775를 기여하여 신호가 단순한 호출 순서의 대리변수가 아님을 확인시켜 줍니다.
• 등장: 신호는 레이어 14 (~22% 깊이) 에서 날카롭게 등장하여 레이어 41 부근에서 포화되며, 이는 스택 중간층의 의미론적 등장 패턴과 일치합니다.

2. 위상 민감성 대 값 특정성

프로브는 특정 식별자 값이 아닌 추상적 의존성 위상을 추적합니다.

• 값 손상: 도구 출력 내 ID 값을 교체하더라도 (계획은 고정된 상태) 디코딩된 DAG 구조에 통계적으로 유의미한 변화가 없습니다 (Cohen's $d = 0.06$).
• 구조적 교란: 도구 응답을 빈 결과로 재작성하여 (계획 변경 강제) 디코딩된 구조에 큰 변화를 유발합니다 (Cohen's $d = 0.87$).
• 재현: 이 분리는 ComplexFuncBench를 포함한 다양한 도메인에서 유지되며, 부분 문자열 매칭이 아닌 독립적인 스키마 유형 값 일치 오라클을 사용하여 재현되어 신호가 부분 문자열 휴리스틱의 인공물이 아님을 확인시켜 줍니다.

3. 표현 전파

활성화 패치는 의존성 표현이 네트워크를 통해 전파된다는 증거를 제공합니다.

• 소스 호출에서 잔여 스트림을 패치하면 패치되지 않은 엄격히 후속의 경계 (예: 레이어 57) 에서 프로브의 예측이 이동합니다.
• 결정적으로, 표현은 이동하지만 에이전트의 실제 도구 선택은 이동하지 않습니다 (행동 변화 0%). 이는 해당 표현이 내부 상태에 대해 하중을 지지만 (load-bearing), 이 맥락에서는 행동 제어에 충분하지 않음을 시사합니다.

4. 교차 도메인 일반성 및 조절

비위치적 기여분은 상호작용형 멀티홉 벤치마크 전반에 걸쳐 일반화되지만, 호출 순서만으로 충분할 때는 감쇠합니다.

• 긍정적 재현: 신호는 ToolHop (+0.161 기여분) 과 ComplexFuncBench (+0.060 기여분) 에서 강력합니다.
• 귀속적 엣지: 프로브는 직접 엣지보다 귀속적 (멀티홉) 의존성을 더 강력하게 디코딩합니다 (AUROC 0.986). 전이적 신호는 초기 레이어에서 더 빠르게 상승합니다.
• 감쇠: 기여분은 TaskBench (싱글샷 계획, 기여분 -0.02) 에서 사라지며 BFCL (직접 도구 사용만) 에서는 테스트 불가능합니다. 이는 호출 순서가 의존성에 대한 약한 대리변수일 때 신호가 존재한다는 가설을 지지합니다.

의미 및 주장

저자들은 이것이 LLM 에이전트의 런타임 도구 호출 의존성 그래프에 대한 첫 번째 구조적 프로브라고 주장합니다.

• 표현 대 제어: 주장은 엄격하게 표현에 관한 것입니다. 논문은 의존성 그래프가 잔여 스트림 내에서 선형적으로 읽을 수 있고 인과적으로 전파됨을 입증하지만, 활성화 패치가 현재 행동 제어를 산출하지는 않는다고 명시적으로 밝힙니다 (에이전트의 도구 선택은 변하지 않음).
• 새로운 대상 클래스: 결과는 런타임 실행 구조 (도구 호출의 DAG) 가 토큰 수준 결정이나 정적 추론 흔적과 구별되는 기계적 해석 가능성의 새로운 대상 클래스를 구성함을 시사합니다.
• 겸손함: 저자들은 전파의 범위에 대해 겸손하게 언급하며, 교차 도메인 인과적 재현과 행동적으로 충분한 개입은 향후 과제로 남아있음을 지적합니다. 또한 의존성 정의가 값 재사용 (부분 문자열 또는 스키마 매칭) 에 의존하며 값 전달 없이 제어 흐름만으로 매개되는 의존성은 배제된다고 인정합니다.

요약하자면, 이 논문은 LLM 에이전트가 도구 호출 실행 그래프의 추상적 위상을 잔여 스트림에 인코딩한다는 것을 확립합니다. 이 표현은 위치적 사전 지식과 구별되며, 값 변화에 강건하고 네트워크 레이어를 통해 전파됩니다.