기술 요약: 암묵적 선호도를 위한 통계적 사전 확률(Statistical Priors)

문제 정의

본 논문은 **API 기반의 원격 대규모 언어 모델(LLM)**에 의존하는 로컬 실행형 개인용 에이전트 배포의 핵심적인 병목 현상을 다룬다. 외부 스킬(도구) 생태계가 확장됨에 따라, 에이전트는 사용자에게 가장 적합한 스킬을 동적으로 선택해야 한다. 그러나 사용자의 선호도는 명시적인 지시보다는 확률적이고 고빈도로 발생하는 습관의 형태로 나타나는 암묵적(implicit) 특성을 갖는 경우가 많다.

기존의 패러다임은 다음과 같은 두 가지 구별된 인지 과업을 혼재시키고 있다:

1. 의미론적 의도 파싱(Semantic Intent Parsing): 명시적인 사용자 지시(예: "HouseBrew에서 주문해줘")를 이해하는 것.
2. 통계적 선호도 학습(Statistical Preference Learning): 과거 상호작용으로부터 잠재된 습관(예: 사용자는 항상 커피를 위해 "VibeCof'ing"을 선호함)을 추론하는 것.

기존 솔루션은 일반적으로 **메모리 증강 LLM(memory-augmented LLMs)**에 의존하며, 여기서는 과거 로그를 프롬프트에 주입하여 단일 원격 모델을 가이드한다. 저자들은 이 접근 방식이 다음과 같은 문제를 겪는다고 주장한다:

• 시스템적 실패: LLM은 멀티 턴 대화에서 논리적 일관성을 잃거나 미세한 통계치를 추적하는 데 실패하는 경우가 많다.
• 자원 제약: 높은 API 지연 시간과 컨텍스트 윈도우 초과 문제는 로컬 및 프라이버시 보존형 에이전트에서 복잡한 중앙 집중식 알고리즘을 구현하는 것을 불가능하게 만든다.
• 해석 가능성 부족: 메모리 기반 접근 방식은 선호도 분포를 모델링하는 데 있어 수학적 엄밀성이 부족하다.

방법론: LOCAL HARNESS

이러한 문제를 해결하기 위해, 본 논문은 통계적 선호도 학습과 의미론적 의도 파싱을 엄격하게 **분리(decouple)**하는 새로운 아키텍처인 LOCAL HARNESS를 제안한다.

핵심 아키텍처

이 시스템은 "로컬 통계 추정기 + 원격 예외 처리기" 모델로 작동한다:

1. 로컬 통계적 사전 확률 (The Harness): 사용자의 선호도 분포를 관리하는 경량화된 온디바이스 모듈이다. 이는 고빈도 의사결정과 탐색-활용(exploration-exploitation) 트레이드오프를 처리한다. 논문에서는 두 가지 특정 사전 확률을 구현한다:
   • 빈도 사전 확률(Frequency Prior): $(user, domain, skill)$ 카운트를 추적하는 단순한 경험적 성공률 테이블이다.
   • 밴딧 사전 확률(Bandit Prior): 파라미터 벡터와 정규화된 그람 행렬(Gram matrix)을 유지하는 컨텍스추얼 밴딧 접근 방식(구체적으로 LINUCB)이다. 이는 쿼리, 스킬 이름, 도메인으로부터 컨텍스트 벡터를 생성하기 위해 피처 해싱(feature hashing)을 사용하며, 상한 신뢰 구간(UCB)을 통해 원칙적인 탐색을 수행한다.
2. 원격 LLM (The Override Handler): 표준 쿼리에 대해서는 원격 LLM이 실행 경로에서 제외된다. LLM은 **명시적인 어휘적 오버라이드(explicit lexical overrides)**를 확인하기 위해서만 호출된다:
   • 1단계 (도메인 분류): 단일 LLM 호출을 통해 대상 도메인을 추론하여 후보 스킬 세트를 제한한다.
   • 2단계 (로컬 기본값): 로컬 하네스가 통계적 사전 확률에 기반하여 기본 스킬을 선택한다.
   • 3단계 (의미론적 오버라이드 프로브): LLM에 이진 프로브를 던져 질문한다: "이 쿼리가 특정 도구를 명시적으로 언급하고 있는가?" 만약 그렇다면, 언급된 도구가 로컬 기본값을 오버라이드하며, 그렇지 않다면 로컬 기본값이 실행된다.

이론적 토대

저자들은 완만한 가정 하에, 이 분리된 아키텍처가 LLM 전용 베이스라인에 비해 기대 라운드당 후회(regret)를 엄격하게 감소시킨다는 것을 입증하는 이론적 분석(정리 4.1)을 제공한다. 로컬 통계적 사전 확률이 일관적이라면, 후회는 LLM의 고유한 에러율보다 엄격히 낮은 값으로 수렴한다. 이 증명은 최종 정책이 로컬 사전 확률과 LLM 정책의 볼록 결합(convex combination)이라는 사실에 기초하며, 이는 신호가 혼재되는 메모리 증강 방식에서는 상실되는 구조적 특성이다.

실험적 평가

기존 벤치마크 중 암묵적 선호도 기반의 스킬 선택을 다루는 것이 없기 때문에, 저자들은 10개 도메인에 걸친 60개의 스킬과 제어 가능한 선호도 분포(결정론적인 "one-hot"부터 확률적인 디리클레 분포까지)를 가진 합성 사용자를 포함하는 샌드박스인 TOOLBENCH-60을 구축하였다.

평가 설정:

• 백본(Backbones): 다양한 세 가지 LLM(GPT-5.2, DeepSeek-V4-Flash, Qwen3-30B-Instruct)에 대해 평가되었다.
• 베이스라인: 다음으로 분류된 9개의 에이전트와 비교되었다:
  • 학습 없음 (No Learning): Random, ZeroShot-LLM.
  • 통계 전용 (Statistical Only): Freq-Greedy, Pure-Bandit.
  • 메모리를 가진 LLM (LLM with Memory): InContext-Memory (최근 이력), Profile-Memory (전체 직렬화된 로그).
  • 통계적 사전 확률을 가진 LLM (LLM with Statistical Prior): Bandit-as-Context (LLM이 밴딧 확률을 봄), Freq-as-Override, Bandit-as-Override (제안된 방식).

주요 결과:

1. 우수한 성능: BANDIT-AS-OVERRIDE 에이전트는 모든 백본과 선호도 체제에서 일관되게 **가장 낮은 누적 후회(cumulative regret)**와 가장 높은 테스트 정확도를 달아냈다.
2. 메모리 대비 효과: 메모리 증강 베이스라인(InContext/Profile)은 현저히 낮은 성능을 보였으며, 이는 이력을 프롬프트에 주입하는 것이 전용 통계 추정체를 대체할 수 없음을 확인시켜 준다.
3. 오버라이드 처리: 순수 통계적 에이전트는 명시적 쿼리(제로샷 의미론적 지시)에서 실패했다. LOCAL HARNESS는 LLM을 오직 오버라이드 탐지에만 할당함으로써 명시적 쿼리에 대해 완벽에 가까운 정확도를 달성했다.
4. 탐색의 가치: 밴딧 기반 사전 확률은 단순 빈도 계산보다 우수한 성능을 보였으며, 특히 확률적(소프트) 선호 체제에서 그러했다. 이는 원칙적인 탐색의 필요성을 입증한다.

의의 및 주장

본 논문은 현재의 개인용 에이전트 설계에 존재하는 근본적인 아키텍처 결함, 즉 통계적 학습과 의미론적 추론의 혼재를 식별했다고 주장한다.

• 아키텍처의 전환: "LLM-as-Brain"(모든 것을 처리)에서 "LLM-as-Exception-Handler"(명시적 오버라이드만 처리)로의 패러다임 전환을 제안하며, 습관 모델링을 경량 통계에 위임한다.
• 효율성 및 프라이버시: 통계적 학습을 로컬에 유지함으로써, 이 방식은 API 지연 시간을 줄이고, 컨텍스트 오버플로를 방지하며, 복잡한 중앙 집중식 인프라 없이도 엄격한 프라이버시 제약을 준수한다.
• 강건성: 분리된 설계는 에이전트가 사용자의 습관에 적응하면서도 명시적인 사용자 명령에 반응할 수 있도록 보장하며, 이는 메모리 증강 방식이 유지하지 못하는 균형이다.

저자들은 이 분리된 프레임워크가 이론적 후회 경계와 광범위한 경험적 평가를 통해 검증된, 개인화된 에이전트 설계를 위한 견고하고 수학적으로 근거 있는 패러다임을 구축한다고 결론짓는다.