기술 요약: 표현 스티어링(Representation Steering)을 통한 LLM 에이전트의 도구 호출 비율 조절

문제 정의

대규모 언어 모델(LLM) 에이전트는 외부 도구를 호출할지 여부를 결정하는 데 있어 매우 중요한 트레이드오프에 직면합니다. 잘못된 결정은 다음과 같은 비용을 초래합니다:

• 과소 사용(Under-use): 에이전트가 도구를 호출해야 할 때 호출하지 못하여, 외부 지식(예: 롱테일 사실 관계)이 필요한 질문에 대해 확신에 찬 오답을 내놓습니다.
• 과다 사용(Over-use): 단순 산술 연산과 같이 불필요한 상황에서도 도구를 호출하여 지연 시간, 금융 비용, 그리고 잠재적인 되돌릴 수 없는 부작용(예: 이메일 발송)을 발생시킵니다.

파인튜닝이나 프롬프트 엔지니어링과 같은 기존의 완화 전략은 계산 비용이 많이 들고 추론 시점에 동적으로 수정하기 어렵습니다. 또한, 선행 연구를 통해 어떤 도구를 선택할지는 선형적으로 표현될 수 있음이 밝혀졌으나, 도구를 호출할지 말지에 대한 이진 결정(binary decision) 역시 이와 유사하게 읽기 쉽고 제어 가능한 내부 표현을 갖는지 여부는 여전히 불분ci 명확하지 않습니다.

방법론

저자들은 **표현 스티어링(representation steering)**에 기반한 훈련이 필요 없는 추론 시점 개입 방법을 제안합니다. 이 파이프라인은 세 가지 구성 요소로 이루어져 있습니다:

1. 성향 프록시 (Propensity Proxy)

이 방법은 전체 생성을 의존하는 대신, 단 한 번의 순전파(forward pass)로부터 "도구 사용 성향" 신호를 추출합니다. 멀티 도구 환경에서 모델의 도구 호출 형식은 모든 가용 도구가 공유하는 특수 토큰($t^\star$, 예: <tool_call>)으로 시작합니다. 쿼리 $q$에 대한 성향 점수 $s(q)$는 첫 번째 생성 위치에서 해당 토큰을 방출할 로그 확률로 정의됩니다:
$$s(q) = \log p_\theta(t^\star | x(q))$$
이 지표는 실제 생성을 수행하지 않고도 실제 도구 사용을 나타내는 충실한 랭킹 신호 역할을 합니다.

2. 방향 추출 (차이-의-평균, Difference-of-Means)

멀티 도구 환경(중립적인 시스템 프롬프트, 사용 가능한 도구 목록)을 사용하여 저자들은 다음 과정을 수행합니다:

1. 쿼리를 $s(q)$에 따라 정렬합니다.
2. 고성향 집합($H$)과 저성향 집합($L$)을 형성합니다.
3. 각 잔차 스트림 레이어 $\ell$에서의 스티어링 벡터 $v_\ell$을 두 집합 간의 평균 차이로 계산합니다:
   $$v_\ell = \frac{1}{|H|} \sum_{q \in H} h_\ell(q) - \frac{1}{|L|} \sum_{q \in L} h_\ell(q)$$
   이 벡터는 특정 도구에 국한된 것이 아니라 일반적인 "호출 성향" 신호를 포착합니다. 왜냐하면 고성향 집합에는 다양한 유형의 질문이 혼합되어 있기 때문입니다.

3. 추론 시점 스티어링 (Inference-Time Steering)

추론 중에 추출된 벡터를 특정 디코더 레이어 $\ell$의 잔차 스트림에 더합니다:
$$h'_\ell = h_\ell + \alpha v_\ell$$
여기서 $\alpha$는 스칼라 스티어링 계수입니다.

• $\alpha > 0$: 도구 호출을 장려합니다.
• $\alpha < 0$: 도구 호출을 억제합니다.
• $\alpha = 0$: 수정되지 않은 원래의 모델 동작을 복구합니다.
  저자들은 또한 투영 개입(클램핑 및 제거)을 테스트하여, 이 방향으로의 투영이 결정(decision)을 인과적으로 제어하는지 검증합니다.

주요 기여

1. 선형 제어 방향의 식별: 본 논문은 도구 호출 여부라는 이진 결정을 제어하는 잔차 스트림 내의 단일 선형 방향을 식별했습니다. 이를 통해 재학습이나 프롬프트 수정 없이 추론 시점에 연속적인 제어가 가능합니다.
2. 지식 선택성 및 도구 범용성:
   • 지식 선택적(Knowledge-Selective): 유도된 호출은 모델이 이미 알고 있는 질문보다는 모델이 파라미터 지식으로부터 답할 수 없는 질문(예: 낮은 인지도의 엔티티)에 집중됩니다.
   • 도구 범용적(Tool-General): 추출 과정에 포함되지 않은 도구(예: 번역, 날씨, SQL)에 대해서도 추출 시 사용된 벡터와 대등한 강도로 효과적으로 스티어링할 수 있습니다.
3. 결정의 분리(Disentanglement of Decisions): 스티어링 방향은 '어떤' 도구를 선택할지를 크게 변화시키지 않으면서 '도구를 호출할지 여부'를 제어합니다. 도구 간의 라우팅 분포는 모델 의존적이며 대부분 보존됩니다.
4. 비용-정확도 파레토 최적선(Cost-Accuracy Pareto Frontier): 실시간 도구 실행 시, 스티어링 강도를 변화시키면 비용(호출 횟수)과 정확도 사이의 트레이드오프를 조절할 수 있는 매끄러운 파레토 최적선이 그려집니다.

실험 결과

이 방법은 Qwen3 변형 모델, Gemma-4, gpt-oss를 포함하여 밀집(dense), MoE(Mixture-of-Experts), 멀티모달 아키텍처를 아우르는 5개 모델에 대해 평가되었으며, PopQA (오픈 도메인 QA), GSM8K (수학), BIG-Bench Hard (문자열/날짜 조작)와 같은 데이터셋을 사용했습니다.

• 단조 제어(Monotonic Control): $\alpha$를 $-2$에서$+3$까지 변화시키면 다양한 도구 환경(검색, 계산기, Python)에서 도구 호출 비율이 거의 0%에서 90% 이상(일부 모델의 경우 100%)까지 단조롭게 이동합니다.
• 정확도 향상: 실시간 웹 검색을 사용하는 PopQA 데이터셋에서, 스티어링은 질문당 약 1.1회의 검색 시점에서 오픈 도메인 QA 정확도를 0.29(베이스라인)에서 0.56으로 높였습니다.
• 교차 모델 일반화: 동일한 추출 및 스티어링 절차가 모델의 기본적 도구 과소 사용 또는 과다 사용 경향과 관계없이 테스트된 모든 모델에서 작동했습니다.
• 레이어 특이성(Layer Specificity): 스티어링 효과는 디코더 레이어의 중간에서 후반부 밴드(예: Qwen3-4B의 경우 레이어 21–24)에서 가장 강력하고 단조롭습니다. 초기 레이어는 비활성 상태이며, 매우 후반부 레이어는 불안정한 동작을 보입니다.
• 투영 개입: 잔차 스트림을 스티어링 벡터로 투영하여 클램핑하는 것 또한 도구 사용을 단조롭게 증가시켰으며, 이는 인과적 연결을 확인시켜 주었습니다. 다만, 가산적(additive) 스티어링이 더 넓은 제어 범위를 제공했습니다.

의의 및 주장

본 논문은 에이전트 행동 제어의 "블랙박스" 특성을 해결하는 경량화된, 훈련이 필요 없는 메커니즘을 제공한다고 주장합니다. 도구 호출 결정이 하나의 스티어링 가능한 선형 방향에 인코딩되어 있음을 입증함으로써, 저자들은 다음을 보여줍니다:

• 에이전트를 재학습 없이도 비용이 많이 드는 불필요한 호출을 피하거나 누락된 정보를 검색하도록 튜닝할 수 있습니다.
• 이 제어 방식은 다양한 모델 아키텍처와 도구 세트에 대해 견고합니다.
• 이 방법은 실제 배포 환경에서 비용-정확도 트레이드오프를 동적으로 최적화할 수 있게 합니다.

저자들은 한계점도 언급했습니다: 이 방법은 호출의 '결정'을 제어하는 것이지 실행의 '품질'을 제어하는 것이 아닙니다. 또한, 추론 우선 모델(reasoning-first models)의 경우 결정 레이어에 접근하기 위해 추론 구간(reasoning span)을 우회해야 하며, 과도한 양(+)의 스티어링은 도구 호출 형식을 손상시킬 수 있습니다. 그럼에도 불구하고, 이 연구는 에이전트적 행동의 추론 시점 제어를 위한 새로운 패러다임을 제시합니다.