[기술 요약] ASA: 도구 호출 에이전트를 위한 학습 불필요 표현 공학 (Representation Engineering)

1. 문제 정의 (Problem Statement)

LLM 에이전트가 특정 도메인의 API나 도구(Tool)를 호출하도록 적응시키는 과정에서 기존 방식들은 다음과 같은 한계를 가집니다.

• 프롬프트 및 스키마 엔지니어링 (Prompt/Schema Engineering): 배포는 쉽지만, 문구의 미세한 변화나 문맥 변화에 매우 취약(Brittle)하며, 엄격한 파서(Parser)를 통과하지 못하는 경우가 많습니다.
• 매개변수 효율적 미세 조정 (PEFT, 예: LoRA): 신뢰도는 높지만, 도구 인터페이스가 바뀔 때마다 매번 재학습과 유지보수가 필요하며, 모델의 일반적인 능력이 저하되는 '망각(Forgetting)' 문제가 발생합니다.

핵심 발견: "Lazy Agent" 실패 모드
연구진은 모델의 중간 레이어 활성화 값(Mid-layer activations)을 선형 프로브(Linear probe)로 분석했을 때, 도구가 필요한 상황인지 아닌지를 **99% 이상의 정확도(AUC)**로 예측할 수 있음을 발견했습니다. 즉, 모델은 내부적으로 "도구를 써야 한다"는 **의도(Intent)**를 이미 알고 있음에도 불구하고, 실제 출력 단계에서는 도구 호출 모드로 전환하지 못하는 **'표현-행동 간극(Representation-Behavior Gap)'**이 존재함을 확인했습니다.

2. 제안 방법론: ASA (Activation Steering Adapter)

ASA는 모델의 가중치를 전혀 업데이트하지 않고, 추론 시점에 중간 레이어의 활성화 값에 개입하여 모델의 행동을 제어하는 학습 불필요(Training-free) 컨트롤러입니다.

핵심 구성 요소

1. Mixture-of-Vectors (MoV):

   • Global Intent Vector ($v_{global}$): 모든 도메인에 공통적으로 적용되는 도구 호출 의도 방향.
   • Domain-specific Offset Experts ($v_d$): 각 도메인(코드, 수학, 검색 등)의 특성에 맞춘 개별 벡터.
   • 라우터(Router)를 통해 입력 문맥에 맞는 도메인 벡터와 글로벌 벡터를 조합하여 최적의 스티어링 방향을 생성합니다.

2. Probe-guided Signed Gate (확신 기반 게이팅):

   • 단순히 의도 방향을 주입하면 잘못된 호출(False Positive)이 늘어날 수 있습니다.
   • 이를 방지하기 위해 도메인별 프로브(Probe)를 사용하여 도구 호출의 필요성($p(x)$)을 계산합니다.
   • 삼항 제어(Ternary Control):
     • 도구가 확실히 필요하면($p(x) > \tau$): 의도 벡터를 더함 (+).
     • 도구가 필요 없는 상황이면($p(x) < 1-\tau$): 의도 벡터를 뺌 (-) (부정적 제어).
     • 애매하면: 개입하지 않음 (0).

3. Single-shot Intervention:

   • 모든 토큰 생성 단계에서 개입하는 것이 아니라, 프롬프트 처리 단계(Pre-fill pass)의 특정 레이어($L$)에서 단 한 번 활성화 값에 벡터를 주입하여 효율성을 극대화합니다.

3. 주요 기여 (Key Contributions)

• 현상 발견: 도구 호출 의도가 내부 표현에는 명확히 존재하지만 출력으로 이어지지 않는 'Lazy Agent' 현상을 규명했습니다.
• 새로운 패러다임 제시: 도구 호출 적응을 '지식 주입'의 문제가 아닌, 모델의 실행 모드를 전환하는 **'제어(Control) 문제'**로 재정의했습니다.
• 효율적인 솔루션: 학습 없이 단 20KB 정도의 매우 작은 자산(벡터 및 프로브 가중치)만으로 모델의 성능을 획기적으로 개선했습니다.

4. 실험 결과 (Results)

MTU-Bench 및 LLaMA-8B, Qwen2.5-1.5B 모델을 대상으로 실험한 결과는 다음과 같습니다.

• 성능 향상: Qwen2.5-1.5B 모델 기준, 엄격한 도구 사용 F1 점수가 0.18에서 0.50으로 크게 향상되었습니다.
• 오탐지 감소: 잘못된 도구 호출 비율(False Positive Rate)을 0.15에서 0.05로 감소시켰습니다.
• 비용 효율성: LoRA와 같은 PEFT 방식이 수십 MB의 용량과 학습 비용을 요구하는 반면, ASA는 학습이 필요 없고 용량도 KB 단위로 매우 가볍습니다.
• 강건성: 프롬프트 엔지니어링보다 문맥 변화에 강하며, 미세 조정(Fine-tuning) 모델과 대등하거나 더 나은 제어 성능을 보여주었습니다.

5. 의의 및 결론 (Significance)

ASA는 변화가 빠른 실제 운영 환경(Dynamic environments)에서 LLM 에이전트를 배포할 때 매우 실용적인 대안을 제시합니다.

1. 유지보수 용이성: API 스키마가 변경되어도 모델을 재학습할 필요 없이, 새로운 도메인 벡터와 프로브만 추가하면 즉시 대응이 가능합니다.
2. 제어 가능성: 단순한 성능 향상을 넘어, 의도적으로 도구 호출을 억제하거나 촉진할 수 있는 '양방향 제어(Bidirectional control)'가 가능하여 에이전트의 안전성과 신뢰성을 높일 수 있습니다.
3. 확장성: 모델의 크기가 커져도(Scaling) 적절한 레이어만 선택하면 효과적으로 전이(Transfer)될 수 있음을 입증했습니다.