기술 요약: 헤딩 특정 활성화 스티어링을 통한 도구 사용 제어

문제 정의

도구 증강 대규모 언어 모델(LLM)은 외부 도구(예: 웹 검색, 코드 실행)를 통합하여 파라미터 지식 이상의 능력을 확장합니다. 그러나 지속적인 실패 모드는 **도구 과사용(tool overuse)**으로, 모델이 내부 추론만으로 충분한 상황에서도 불필end하게 도구를 호출하는 현상입니다. 이는 지연 시간, 비용 증가 및 잠재적인 오류 전파를 초래합니다.

기존의 완화 전략은 일반적으로 비용이 많이 드는 재학습을 요구하거나 출력 인터페이스에서 작동하며, 모델 내부의 잠재적 의사결정 과정을 다루지 못한다는 한계가 있습니다. 근본적인 도전 과제는 감성이나 사실성과 같은 개념이 학습 과정에서 모델 가중치에 인코딩되는 것과 달리, 도구는 추론 시점에 전적으로 컨텍스트 내에 존재한다는 점입니다. 따라서 선형 표현 가설(linear representation hypothesis) 및 표현 공학(representation engineering)의 표준 가정—즉, 개념이 안정적인 파라미터 기반(parametric grounding)을 가진다는 가정—이 직관적으로 적용되지 않습니다. 본 논문은 도구 사용 결정이 이러한 비파라미터적 성격에도 불구하고 추출 및 조작 가능한 안정적인 내부 표현을 보유하고 있는지 조사합니다.

방법론

저자들은 **헤딩 특정 활성화 스티어링(Heading-Specific Activation Steering)**이라는 경량화된 추론 시점 개입 방법을 제안합니다. 이 접근 방식은 모델이 ### Reasoning, ### Code, ### Search, ### AskUser와 같은 명시적인 섹션 헤더(Heading-Anchors)를 사용하여 중간 추론을 생성하는 구조화된 생성 궤적에 의존합니다.

1. 스티어링 벡터 구축

이 방법은 헤딩-앵커(Heading-Anchors)에 해당하는 토큰 위치의 은닉 상태(hidden states)를 분석하여 도구별 스티어링 벡터를 구축합니다.

• 데이터 수집: 저자들은 특정 도구 헤딩을 포함하는 레이블링된 멀티 턴 궤적을 수집합니다.
• 상태 추출: ### Reasoning 상태와 대상 도구 헤딩 상태(예: ### Code)에 대한 리딩 ### 앵커 마커 토큰으로부터 특정 레이어 $l^*$의 은닉 상태를 추출합니다.
• 델타 계산: 각 궤적에 대해, 추론 앵커의 평균 은닉 상태와 도구 앵커의 평균 은합 상태 간의 차이로 스티어링 델타를 계산합니다:
  $$\Delta^{(l)}_{k,i} = \bar{h}^{(l)}_{R,i} - \bar{h}^{(l)}_{k,i}$$
• 벡터 집계: 이러한 델타들을 여러 궤적에 걸쳐 평균하여 최종 스티어링 벡터 $v^{(l)}_k$를 형성합니다. 이러한 샘플 수준의 평균화는 앵커 발생 빈도가 높은 궤적에 편향되는 것을 방지합니다.

2. 개입 메커니즘

추출된 벡터는 추론 시 헤딩-앵커 형성 단계에서 두 가지 별도의 메커니즘을 통해 적용됩니다.

• 활성화 가산 (억제, Suppression): 스티어링 벡터를 은닉 상태에 더하여 도구 호출 표현으로부터 멀어지도록 이동시킵니다:
  $$\tilde{h}^{(l^*)}_t = h^{(l^*)}_t + \alpha v^{(l^*)}_k$$
  (여기서 $\alpha=1$).
• 직교화 (증폭, Amplification): 은닉 상태를 스티어링 벡터에 직교하도록 투영하여, 억제 성분을 제거함으로써 도구 사용을 장려합니다:
  $$\tilde{h}^{(l^*)}_t = h^{(l^*)}_t - \text{proj}_{v^{(l^*)}_k}(h^{(l^*)}_t)$$

주요 결과

본 연구는 세 가지 도메인인 수학(파라미터 추론으로 충분), 시간(최신 정보 필요), 의도(사용자 명확화 필요)에 대해 다섯 가지 오픈 소스 인스트럭션 튜닝 모델(Mistral-7B, Llama-3.1-8B, Mistral-Nemo, Mistral-Small, Llama-3.1-70B)을 평가합니다.

1. 양방향 인과적 제어

• 억제 (Suppression): 활성화 가산은 도구 호출률을 유의미하게 감소시켰습니다. 수학 도메인에서 Mistral-7B의 경우, 도구 사용은 프롬프트당 호출 횟수가 3.90회에서 0.56회로 거의 제로 수준까지 억제되었으며, 작업 정확도는 완만한 하락만을 보였습니다. 이는 이 도메인의 많은 도구 호출이 불필요했음을 나타냅니다.
• 증폭 (Amplification): 직교화는 모든 모델과 도메인에서 베이스라인보다 도구 사용을 일관되게 증가시켰습니다. 그러나 이러한 인위적인 증가는 작업 성능을 개선하지 못하고 오히려 정확도를 저하시켰으며, 이는 기본 모델이 이미 부분적인 내부 균형을 유지하고 있고 억제 벡터를 제거하는 것이 과사용을 유발함을 시사합니다.
• 도메인 특이성: 억제는 수학에서 가장 효과적이었으나, 외부 검색이나 명확화가 실제로 필요한 시간 및 의도 도메인에서는 성능이 저하되었습니다. 이 도메인들에서 도구 사용을 억제하는 것은 상당한 성능 저하를 초క래했으며, 이는 개입이 파라미터 지식이 부족할 때 도구의 필요성을 존중함을 확인시켜 줍니다.

2. 기하학적 불규칙성

선형적 구조(거절이나 진실성과 같은 파라미터 기반 개념에서 관찰되는)와 달리, 도구 사용 벡터의 기하학적 분석은 다음과 같은 결과를 보여주었습니다:

• 확산된 이봉 분포 정렬 (Diffuse Bimodal Alignment): 도구 호출 단계는 선형 인코딩 설명에서 예측된 일관된 음의 정렬 대신, 억제 벡터에 대해 확산된 이봉 코사인 유사도 분포를 보였습니다.
• 낮은 교차 도구 중첩 (Low Cross-Tool Overlap): 서로 다른 도구 유형(Code, Search, AskUser)은 낮은 Jaccard 중첩(예: 3자 중첩의 경우 ~0.04–0.06)을 가진 매우 구별된 내부 특징 차원을 활용했습니다.
• 해독 가능성과 제어의 디커플링 (Decoupling of Decodability and Control): Llama-3.1-70B 모델에서 지도 학습된 선형 프로브는 ### Code와 ### Reasoning 상태를 완벽하게 분리할 수 있었으나(AUROC 1.000), 프로브가 식별한 방향은 평균 차이 벡터보다 인과적 억제에 훨씬 덜 효과적이었습니다. 이는 제어에 가장 인과적으로 효과적인 방향이 기하학적으로 가장 선형적으로 해독 가능한 방향과 구별됨을 시사합니다.

3. 강건성

개입은 스키마에는 민감하지만, 단순히 리터럴한 표면 문자열에만 의존하지는 않는 것으로 나타났습니다. 교차 포맷 전이(Markdown에서 JSON으로) 및 헤딩 이름 변경을 통한 테스트에서도, 리터럴한 단어 "Code"가 없더라도 억제 효과가 지속되었으나 그 효과는 비대칭적이고 스키마 의존적이었습니다.

의의 및 주장

본 논문은 구성상 명시적으로 비파라미터적인 행동에 활성화 스티어링을 적용한 최초의 사례 중 하나라고 주장합니다. 주요 의의는 다음을 입증하는 데 있습니다:

1. 인과적 제어의 존재: 모델 가중치에 대한 파라미터적 인코딩의 부재에도 불구하고, 헤딩-앵커 기반 스티어링 벡터는 도구 호출 행동에 대해 양방향 인과 제어를 가할 수 있습니다.
2. 비파라미터적 기하학: 도구 사용 스티어링 벡터의 기하학적 특성은 파라미터 기반 개념(감성이나 거절 등)과 근본적으로 다릅니다. 관찰된 기하학적 불규칙성(확산된 정렬, 낮은 중첩)은 도구의 비파라미터적 성격에 따른 예측된 결과로 가설화됩니다.
3. 실용적 유용성: 이 방법은 재학습 비용 없이, 특히 파라미터 추론이 충분한 도메인에서 도구 과사용을 완화할 수 있는 파라미터 프리(parameter-free) 추론 시점 메커니즘을 제공합니다.

저자들은 스티어링의 인과적 효과는 명확하지만, 이 효과와 관찰된 기하학적 불규칙성 사이의 관계는 여전히 미해결 과제로 남아 있으며, 이는 도구 증강 궤적의 멀티 턴 의존 구조와 연관되어 있을 가능성이 있다고 결론지었습니다.