기술 요약: LLM 에이전트의 고유한 과도 호출 편향 진단

문제 진술

대형 언어 모델 (LLM) 에이전트는 외부 도구 (예: 검색 엔진, API) 를 활용하도록 진화했으나, **과도 호출 (over-calling)**이라 불리는 체계적인 실패 모드를 보입니다. 이는 사용자의 요청에 필요한 정보가 부족하거나 직접적인 답변으로 충분할 때조차 도구를 호출하려는 경향입니다.

When2Call 벤치마크에 대한 평가는 Qwen3.5, Gemma-3, Ministral-3 의 세 계열에 속한 여섯 가지 모델에서 일관된 비대칭성을 보여줍니다. 도구 호출이 필요한 경우 (호출 정확도: 90%–99%) 에는 높은 정확도를 달성하지만, 도구를 호출하지 않는 것이 올바른 행동일 때의 정확도는 크게 떨어집니다 (비호출 정확도: 2%–69%). 이로 인해 전체 정확도 범위는 고작 55%–70% 에 머무릅니다. 이러한 편향은 사용자 경험을 저하시키고 (예: 정보가 부족할 때 도구 호출을 환각적으로 생성함), 배포된 시스템에서 API 비용을 불필요하게 증가시킵니다.

방법론

저자들은 경험적 관찰을 넘어 인과적 분석으로 나아가 LLM 에이전트의 내부 의사결정 과정을 기계론적으로 조사할 것을 제안합니다.

1. 고유 편향 가설 (IBH)

이 논문은 과도 호출이 단순히 활성화 수준의 함수가 아니라, 의사결정 매핑 내의 활성화 무관한 CALL 오프셋에서 비롯된다고 주장합니다.

• 가설: 호출 여부 결정은 "CALL"과 "NO_CALL" 특징 방향 사이의 부호화된 활성화 마진 ($m$) 에 의해 결정됩니다. 그러나 의사결정 경계가 이동되어, 활성화 동등 상태 ($m=0$) 에서조차 모델이 호출을 선호합니다. 모델은 NO_CALL 활성화가 CALL 활성화보다 현저히 클 때만 의사결정 중립 상태가 됩니다.
• 형식화: 의사결정 확률은 $P(\text{CALL} | m) = \sigma(\beta m + \beta_0)$로 모델링되며, 여기서 $\beta_0 > 0$은 고유 편향 오프셋을 나타냅니다.

2. 희소 오토인코더 (SAEs) 를 통한 특징 발견

IBH 를 검증하기 위해 저자들은 잔여 스트림 (residual-stream) 활성화를 해석 가능한 특징으로 분해하기 위해 희소 오토인코더를 사용합니다.

• 학습: TopK SAE 는 두 단계 커리큘럼을 사용하여 대상 모델의 잔여 스트림에서 학습됩니다. 먼저 광범위한 코퍼스 (OpenWebText2) 로 일반적인 기하학을 학습한 후, When2Call 데이터셋으로 도구 사용 맥락에 적응하도록 조정합니다.
• 특징 기반: 관찰된 행동과 정렬된 두 가지 특징 집합이 복원됩니다.
  • $\mathcal{C}$: 관찰된 CALL 결정과 강하게 연관된 특징.
  • $\mathcal{N}$: 관찰된 NO_CALL 결정과 강하게 연관된 특징.
• 검증: 소수의 이러한 특징 (일반적으로 $K \le 5$) 으로 학습된 선형 프로브는 게이팅 결정을 예측하며, 그 정확도는 원시 잔여 스트림의 상한선에 근접합니다. 이는 이러한 특징들이 필수적인 게이팅 신호를 포착함을 확인시켜 줍니다.

3. 진단 및 정량화

복원된 특징 기반을 사용하여 저자들은 활성화 기하학을 분석합니다.

• 응답 조건부 뷰: NO_CALL 응답은 NO_CALL 우세 반평면에 집중되는 반면, CALL 응답은 동등성 대각선을 넘어 NO_CALL 증거가 비슷하거나 더 강한 영역까지 확장됩니다.
• 입력 조건부 뷰: 방출된 CALL 응답 중 "거짓 호출" (과도 호출 오류) 은 "진짜 호출"보다 동등성 대각선에 더 가깝게 위치합니다. 이는 편향이 약한 경우를 의사결정 경계 너머로 밀어낸다는 것을 나타냅니다.
• 오프셋 추정: 부호화된 활성화 마진에 대한 로지스틱 회귀는 모든 모델에서 음의 중립 경계 ($m^* < 0$) 를 확인하여 고유 편향 $\beta_0$을 정량화합니다.

4. 인과적 개입: 적응형 마진 보정 조향 (AMCS)

IBH 를 인과적으로 검증하기 위해 저자들은 AMCS라는 폐회로 수식 조향 방법을 도입합니다.

• 메커니즘: AMCS 는 $\mathcal{C}$와 $\mathcal{N}$의 SAE 디코더 방향을 따라 조향 벡터를 계산합니다. 이는 활성화 마진에 $\delta = -\beta_0 / \beta$만큼의 반대 편향 이동을 적용합니다.
• 구현: 이동은 활성화 간격에 기반하여 상위 순위 특징들에 분배됩니다. 개입은 추론 시 잔여 스트림에 단일 벡터 덧셈으로 적용되며, 추가 모델 호출이나 반복적 튜닝이 필요하지 않습니다.

주요 결과

실험은 여섯 가지 지시 미세 조정 모델 (Qwen3.5-4B/9B, Gemma-3-1B/4B, Ministral-3-3B/8B) 에서 수행되었습니다.

• 과도 호출 완화: AMCS 를 통해 진단된 오프셋을 취소하면 여섯 가지 모델 중 다섯 가지에서 비호출 정확도가 4~17 퍼센트 포인트 크게 향상됩니다.
• 유효 호출 유지: 이 방법은 다섯 가지 모델에서 호출 정확도를 유지하며 미미한 감소 (5 포인트 이내) 만 보입니다. 이는 개입이 필요한 도구 사용을 억제하지 않고 편향을 수정함을 보여줍니다.
• 전체 정확도: AMCS 는 여러 모델에서 전체 정확도를 최대 5 포인트까지 향상시킵니다 (예: Qwen3.5-9B 에서 +5.10%).
• 베이스라인 비교:
  • 프롬프트 엔지니어링: 비호출 정확도를 높이는 데 효과적이지만, 호출 정확도를 급격히 감소시킵니다 (예: Ministral-3-8B 에서 -56%), 결과적으로 전체 성능이 저하됩니다.
  • 일방적 조향: CALL 특징만 억제하거나 NO_CALL 특징만 촉진하는 방법은 AMCS 가 제공하는 균형을 달성하지 못하여 전체 정확도 향상 폭이 작습니다.
• Gemma-3 한계: Gemma-3 모델은 SAE 축을 따라 진짜 호출과 거짓 호출 간의 분리가 거의 없어 마진 기반 개입의 효과가 미미했습니다. 이들은 주요 증거보다는 참조 사례로 처리되었습니다.

중요성과 주장

이 논문은 과도 호출을 경험적 현상이 아니라 측정, 모델링, 인과적 조정이 가능한 기계론적 객체로 재정의한다고 주장합니다.

1. 기계론적 통찰: 이 연구는 도구 사용 게이팅이 특징 활성화의 상대적 강도뿐만 아니라 고유한 활성화 무관 편향에 의해 지배됨을 보여줍니다.
2. 인과적 수정: SAE 기반 조향을 통해 특정 오프셋 항 ($\beta_0$) 을 식별하고 취소함으로써, 저자들은 고유 편향 가설의 인과적 검증을 제공합니다.
3. 제어 가능성: 진단된 오프셋은 호출 노력에 대한 "노브" 역할을 합니다. AMCS 는 모델 재학습 없이 급진적인 도구 호출과 사용자 검증 사이의 균형을 조정할 수 있는 "호출 노력" 인터페이스로의 첫걸음입니다.
4. 범위: 이 연구는 배포된 모델에 대한 추론 시 수정에 초점을 맞춥니다. 편향의 학습 시간적 기원을 추적하거나, 호출 대 검증 의사결정 유닛을 넘어선 장기 에이전트 계획 문제를 해결한다고 주장하지는 않습니다.

코드와 데이터는 https://github.com/SKURA502/agent-sae/에서 이용 가능합니다.