Model-Adaptive Tool Necessity Reveals the Knowing-Doing Gap in LLM Tool Use

기술적 요약: 모델 적응형 도구 필요성 규명이 LLM 도구 사용에서의 인지 - 실행 간극을 드러냄

문제 제기

대규모 언어 모델 (LLM) 은 직접 질문에 답변하거나 외부 도구 (예: 계산기, 검색 API) 를 호출하는 것 사이에서 결정해야 하는 자율 에이전트로서 점점 더 널리 배포되고 있습니다. 적응형 도구 사용에 대한 기존 연구는 대부분 '도구 필요성'을 정적이고 모델에 무관한 속성으로 간주해 왔으며, 이는 일반적으로 인간 판정자나 강력한 LLM 에 의해 주석 처리되었습니다. 이러한 접근 방식은 특정 모델의 능력과 관계없이 질의가 본질적으로 도구에 의존하거나 도구에 독립적이라고 가정합니다.

그러나 실제 배포 환경에서 도구 필요성은 서로 다른 모델 간 능력 경계의 차이로 인해 근본적으로 미묘한 차이가 있습니다. 최첨단 모델이 내부 가중치만 사용하여 해결할 수 있는 문제조차도 더 작거나 약한 모델의 능력을 초과할 수 있으며, 이로 인해 후자의 경우 도구 사용이 필수적이지만 전자의 경우 불필요해집니다. 결과적으로 정적 주석은 특정 LLM 이 언제 진정으로 외부 지원이 필요한지를 정확하게 특징화하지 못합니다. 또한 기존 연구는 모델이 필요한 경우 도구를 호출하지 않거나 불필요하게 호출하는 이유를 충분히 진단하지 못했으며, 이는 잠재적으로 내부 지식을 보유하고 있음에도 불구하고 발생합니다.

방법론

저자들은 모델 적응형 도구 필요성과 도구 사용 과정의 2 단계 분해에 기반한 프레임워크를 제안합니다.

1. 모델 적응형 도구 필요성 정의:
   정적 레이블 대신 도구 필요성 ($n_f(x)$) 은 특정 모델 $f$의 성능에 기반하여 경험적으로 정의됩니다. 저자들은 도구 접근 없이 온도 $T$에서 $N$번의 독립적인 추론 실행을 수행합니다.

   • 모델이 $N$번의 실행 모두에서 일관되게 정확하게 답변하면, 해당 질의는 도구 불필요 ($n_f(x) = 0$) 로 간주됩니다.
   • 모델이 한 번이라도 실패하면, 해당 질의는 도구 필요 ($n_f(x) = 1$) 로 간주됩니다.
     이 정의는 불확실성 하에서의 신뢰성을 포착하며, 도구 없이 간헐적으로만 성공하는 모델도 외부 지원의 혜택을 받는다는 점을 인정합니다.

2. 2 단계 분해 (인지 대 실행):
   도구 사용 과정은 $x \to z_f(x) \to a_f(z_f(x))$로 모델링되며, 여기서:

   • 인지 ($z_f$): 도구가 필요한지에 대한 모델의 내부 표현입니다.
   • 실행 ($a_f$): 도구 호출 토큰을 실제로 출력하라는 결정입니다.
     엔드 - 투 - 엔드 오차는 실제 필요성과 인지 간의 불일치, 그리고 인지 및 실행 간의 불일치로 분해됩니다.

3. 프로빙을 통한 기계적 해석 가능성:
   저자들은 두 단계를 모두 분석하기 위해 LLM 은닉 상태에 선형 프로빙을 적용합니다.

   • 인지 프로브: 은닉 상태에서 모델 적응형 필요성 레이블을 예측하도록 선형 분류기 ($w_c$) 를 훈련합니다.
   • 행동 프로브: 실제 도구 호출 행동을 예측하도록 선형 분류기 ($w_a$) 를 훈련합니다.
   • 기하학적 분석: 내부 신념과 실행 의도가 정렬되어 있는지 확인하기 위해 계층과 토큰 위치 전반에 걸쳐 $w_c$와 $w_a$ 사이의 코사인 유사도를 계산합니다.

4. 궤적 추적:
   샘플은 2 단계 과정을 통해 추적되어 오차를 귀속합니다. 샘플은 오차가 인지 단계에서 발생하는지, 실행 단계에서 발생하는지, 아니면 둘 다에서 발생하는지에 따라 분류됩니다.

실험 설정

• 모델: Qwen3-8B, Qwen3-4B, Llama-3.1-8B-Instruct, Llama-3.2-3B-Instruct 등 네 가지 서로 다른 LLM 이 평가되었습니다.
• 데이터셋:
  • 산술: 단순 덧셈부터 모듈로 및 연산자 우선순위가 포함된 복잡한 다단계 연산까지 4,000 건의 인스턴스.
  • 사실 기반 QA: 사실적 신뢰성을 테스트하도록 설계된 TruthfulQA(817 건).
• 평가: 모델은 도구 (산술용 계산기, QA 용 검색 API) 접근 권한을 가진 상태로 테스트되었습니다. 도구 호출 행동은 탐욕적 디코딩을 사용하여 수집되었습니다.

주요 결과

1. 상당한 필요성 - 행동 불일치:
   모델 적응형 정의를 사용하여 저자들은 실제로 도구가 필요한 시점과 모델이 도구를 호출하는 시점 사이에 상당한 불일치가 있음을 발견했습니다.

   • 산술: 불일치율은 26.5% 에서 54.0% 사이였습니다.
   • 사실 기반 QA: 불일치율은 30.8% 에서 41.8% 사이였습니다.
   • 주요 실행 모드는 모델과 도메인에 따라 다양했습니다. 일부 모델은 직접 답변할 수 있음에도 도구를 과도하게 사용했고, 다른 모델들은 내부 지식이 부족할 때 도구를 호출하지 않아 부족하게 사용했습니다.

2. 인지와 행동의 선형 디코딩 가능성:

   • 인지: 도구 필요성에 대한 내부 표현은 특히 중반에서 후반 계층에서 은닉 상태에서 선형적으로 디코딩 가능합니다. 그러나 분리 가능성은 작업에 의존적이며, 사실 기반 QA 보다 표면적 구조와 난이도가 상관관계가 있는 산술에서 더 강력합니다.
   • 행동: 도구 호출 결정 또한 매우 선형적으로 디코딩 가능하며, 종종 계층과 토큰 위치의 넓은 영역에 걸쳐 있습니다.

3. 직교성 간극:
   인지 및 행동 프로브는 개별적으로 효과적이지만, 그 방향 벡터 ($w_c$ 및 $w_a$) 는 최종 질의 토큰의 후반 계층 (다음 토큰 생성을 주도하는 영역) 에서 거의 직교하게 됩니다. 이는 도구 필요성을 인식하는 내부 신호가 결정의 결정적 순간에 도구 호출을 유발하는 신호와 기하학적으로 분리되어 있음을 나타냅니다.

4. 실패의 국소화 (인지 - 실행 간극):
   궤적 추적은 엔드 - 투 - 엔드 불일치의 대부분이 인지 단계가 아닌 실행 단계(인지 $\to$ 행동 전환) 에서 발생함을 밝혔습니다.

   • 대부분의 오차는 모델이 내부적으로 도구의 필요성을 정확히 식별하지만 (올바른 인지), 이를 도구 호출이라는 구문적 행동으로 전환하지 못할 때 발생합니다.
   • 이 불일치는 모델이 필요성 평가에 대한 내부 신뢰도가 높을 때 (0 또는 1 에 가까울 때) 도래하며, 이는 문제가 불확실성이 아니라 인식을 행동으로 전환하는 실패임을 시사합니다.

의의 및 기여

본 논문은 다음과 같은 기여를 주장합니다:

• 도구 필요성의 재정의: 정적, 모델 무관 주석에 대한 의존성을 도전하는 경험적 성능에 기반한 모델 적응형 도구 필요성 정의를 도입합니다.
• 행동 불일치의 정량화: 여러 모델과 도메인에서 실제 도구 필요성과 관찰된 도구 호출 행동 사이의 상당한 불일치 (최대 54%) 를 경험적으로 입증합니다.
• 기계적 통찰: 표현 프로빙을 통해 도구 필요성과 실행 의도 모두 선형적으로 디코딩 가능하지만, 그 표현이 후반 계층의 마지막 토큰 영역에서 거의 직교하게 됨을 보여줍니다.
• "인지 - 실행 간극"의 진단: LLM 도구 사용의 주요 병목 현상은 도구가 언제 필요한지 인식하는 것이 아니라, 그 인식을 행동으로 전환하는 데 있음을 규명합니다.

저자들은 자율 LLM 에이전트를 개선하려면 내부 메타인지 향상뿐만 아니라, 자기 인식이 올바르게 실행으로 reliably 전환되도록 "인지 - 실행 간극"을 해소하는 것이 필수적이라고 결론지었습니다.