🤖 AI

Personalizing Large Language Model Agents with Small Policy Models

이 논문은 베이지안 컨텍스추얼 톰슨 샘플링을 통해 스칼라 피드백으로부터 사용자 특유의 실행 선호도를 학습함으로써, 비용이 많이 드는 미세 조정 없이도 고정된 대규모 언어 모델 에이전트의 온라인 개인화를 가능하게 하는 경량화된 인수 분해 정책 레이어인 FABLE을 소개한다.

원저자: Dian Jin, Zhi Zhang, Huichao Li, Yihe Pan, Rundong Huang, Doudou Zhou

게시일 2026-08-04

📖 6 분 읽기🧠 심층 분석

CC0 1.0

원저자: Dian Jin, Zhi Zhang, Huichao Li, Yihe Pan, Rundong Huang, Doudou Zhou

원본 논문은 CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 거의 모든 것을 알고 있는 초지능형 로봇과 대화하고 있다고 상상해 보세요. 이 로봇은 읽고, 쓰고, 웹 브라우저나 계산기 같은 도구도 사용할 수 있는 거대한 도서관과 같습니다. 하지만 여기에는 함정이 있습니다. 이 로봇은 "얼어붙어(frozen)" 있습니다. 로봇이 너무 크거나, 비용이 너무 많이 들거나, 혹은 회사가 코드 수정을 허용하지 않아서 당신은 로봇의 뇌를 다시 쓰거나 성격을 바꿀 수 없습니다. 그렇다면 어떻게 이 거대하고 변경 불가능한 로봇을 당신만의 개인 비서처럼 만들 수 있을까요?

이것이 바로 대규모 언어 모델(LLM) 에이전트의 퍼즐입니다. 이들은 단순히 채팅만 하는 것이 아니라, 항공권을 검색하거나 달력을 확인하는 것과 같은 행동을 취하는 AI 시스템입니다. 문제는 이 로봇이 똑똑하긴 하지만, 당신의 구체적인 스타일은 모른다는 점입니다. 예를 들어, 어떤 사람은 긴 설명을 싫어하고 빠른 답변을 원하는 반면, 당신의 친구는 상세한 단계별 가이드를 좋아할 수도 있습니다. 보통 이를 해결하려면 로봇을 "파인 튜닝(fine-tuning)"해야 하는데, 이는 마치 코끼리에게 새로운 춤 동작을 가르치기 위해 코끼리 전체를 재훈련시키는 것과 같습니다. 매우 무겁고, 비용이 많이 들며, 종종 불가능한 일입니다.

당신이 읽게 될 논문은 이 문제를 다음과 같이 해결합니다: 우리는 얼어붙은 로봇의 뇌를 바꾸지 않고도 우리에게 적응하도록 가르칠 수 있을까? 저자들은 영리한 묘책을 제안합니다. 로봇을 바꾸는 대신, 로봇 외부에 서 있는 작고 가벼운 "코치"를 만드는 것입니다. 이 코치는 로봇이 무엇을 하는지 지켜보고, 당신의 피드백(예: 엄지 척 또는 엄지 아래로)을 들으며, 로봇이 당신이 선호하는 선택을 하도록 유도하는 법을 배웁니다. 이는 거대하고 움직일 수 없는 조각상에게 새로운 근육을 새겨 넣는 대신, 당신을 바라보도록 머리의 각도를 조절하라고 말하는 개인 트레이너와 같습니다.

문제점: 말을 듣지 않는 로봇

당신이 여행사 로봇에게 여행 계획을 세워달라고 요청한다고 가정해 봅시다.

사용자 A는 이렇게 말합니다: "내 과거 여행 기록을 확인하고, 현재 가격을 찾아보고, 무엇인가 예약하기 전에 나에게 물어봐 줘."
사용자 B는 이렇게 말합니다: "내 기록은 보지 말고, 그냥 질문 없이 즉시 가장 저렴한 항공편을 찾아줘."

로봇이 얼어붙어 있다면, 이러한 차이점을 쉽게 학습할 수 없습니다. 로봇은 그냥 추측할 뿐입니다. 만약 당신이 "질문하는 건 싫어"라고 말한다면, 프롬프트에 적어 넣을 수는 있겠지만, 로봇은 나중에 그것을 잊거나 무시할 수도 있습니다. 만약 로봇 전체를 재훈련시키려 한다면 엄청난 돈이 들 것입니다. 이 논문은 기존 방식들이 로봇을 바꾸려고 시도하거나(너무 어려움), 단순히 규칙 목록을 제공하거나(너무 경직됨) 한다고 주장합니다. 그들은 당신의 반응으로부터 실시간으로 학습하지 못합니다.

해결책: FABLE, 작은 코치

저자들은 FABLE(Factorized Adaptive Bandit Layer for Execution)을 소개합니다. FABLE를 당신과 거대한 얼어붙은 로봇 사이에 위치한 스마트하고 작은 소프트웨어 계층이라고 생각하세요. 이것은 로봇의 뇌를 건드리지 않습니다. 단지 로봇이 당신을 위해 어떻게 행동해야 하는지를 결정할 뿐입니다.

FABLE가 어떻게 작동하는지 몇 가지 재미있는 비유를 통해 설명하겠습니다.

요소별 메뉴 (분해하기):
로봇이 무엇을 할지 결정할 때, 실제로 세 가지 별개의 선택을 동시에 내립니다:
- 메모리: 사용자의 과거 대화를 살펴볼 것인가?
- 도구: 검색 엔진을 사용할 것인가, 아니면 그냥 추측할 것인가?
- 스타일: 직접적일 것인가, 수다스러울 것인가, 아니면 확인 질문을 할 것인가?
"평면적인(flat)" 접근 방식은 이 선택들의 모든 조합(예: "메모리 + 검색 + 수다스러움"은 하나이고, "메모리 + 검색 안 함 + 직접적임"은 또 다른 것)을 한꺼번에 배우려고 할 것입니다. 그것은 마치 1,000가지 재료가 들어간 레스토랑의 모든 메뉴 아이템을 외우려는 것과 같습니다. FABLE는 더 똑똑합니다. 그것은 메뉴를 분해합니다. 당신이 검색이나 도구를 사용하는지와 상관없이 일반적으로 "수다스러운" 스타일을 싫어한다는 것을 배웁니다. 그것은 당신의 선호도를 구성하는 재료들을 따로 학습하며, 이를 통해 훨씬 빠르게 학습합니다.
잔차 점수 (더해지는 맛):
얼어붙은 로봇은 이미 고유의 "기본" 행동 방식을 가지고 있습니다. 아마도 매우 예의 바르고 상세하게 행동하는 것이 기본일 수 있습니다. FABLE는 그 예의 바름을 다시 배우려고 하지 않습니다. 대신, F 是否 로봇을 당신의 것으로 만드는 잔차(residual), 즉 추가적인 부분만을 학습합니다. 만약 로봇이 자연적으로 80% 정도 예의 바르다면, FABLE는 당신이 10% 정도 덜 예의 바르기를 원한다는 것을 배웁니다. 이는 미리 만들어진 수프를 다시 만드는 것이 아니라, 당신이 좋아하는 특정한 소금 한 꼬집을 추가하는 것과 같습니다.
안전 필터 (문지기):
때로는 특정 행동을 할 수 없을 때가 있습니다. 예를 들어, 당신이 은행 계좌에 접근할 권한이 없거나 도구가 고장 났을 수 있습니다. FABLE에는 선택을 하기 전에 규칙을 확인하는 "문지기"가 있습니다. 문지기는 "좋아, 오늘은 은행 도구를 사용할 수 없으니, 우리가 할 수 있는 목록 중에서 골라보자"라고 말합니다. 이는 로봇이 학습하는 동안에도 규칙을 어기려고 시도하지 않도록 보장합니다.
베이지안 코치 (엄지 위/아래로부터의 학습):
FABLE는 **베이지안 톰슨 샘플링(Bayesian Thompson Sampling)**을 사용합니다. 코치가 당신이 무엇을 좋아하는지에 대한 짐작(hunch)을 가지고 있다고 상상해 보세요. 코치는 하나의 선택을 시도합니다. 당신은 작은 신호(-1에서 1 사이의 점수와 같은 스칼라 피드백)를 줍니다. 코치는 자신의 짐작을 업데이트합니다.
- 만약 당신이 "간결한" 스타일을 좋아했다면, 코치는 당신이 간결한 스타일을 좋아한다는 확신을 조금 더 갖게 됩니다.
- 만약 당신이 "웹 검색" 도구를 싫어했다면, 코치는 그것을 피하는 법을 배웁니다.
  결정적으로, FABLE는 선택지를 분해했기(Factorized) 때문에, 당신이 "웹 검색"을 싫어한다는 것을 배우면, 단지 그 한 번의 상황뿐만 아니라 다른 맥락에서도 당신이 웹 검색을 싫어할 것이라는 점을 이해하는 데 도움이 됩니다.

이 논문이 발견한 것

저자들은 항공사, 소매, 통신, 뱅킹의 네 가지 서로 다른 세계를 시뮬레이션하는 tau2-bench라는 벤치마크에서 FABLE를 테스트했습니다. 또한 수학 문제와 쇼핑 작업에 대해서도 테스트했습니다.

결과는 다음과 같습니다 (결과에서 직접 가져온 내용입니다):

선호도에 효과적임: FABLE는 사용자가 원하는 것을 맞추는 데 가장 뛰어났습니다. 테스트에서 FABLE는 표준적인 얼어붙은 로봇에 비해 "개인화된 보상"(사용자가 상호작용을 얼마나 좋아했는지)을 +0.077만큼 개선했습니다. 또한 특정 "상세도(verbosity)" 선호도(예: 간결함 vs 상세함)를 맞추는 데 훨씬 더 나아졌으며, 정렬(alignment) 성능을 +0.281 향상시켰습니다.
만능 과제 해결사는 아님: 중요한 부분은 이것입니다: FABLE는 실제 과제의 성공률을 유의미하게 높이지 못했습니다. 로봇이 개인화되었다고 해서 항공권을 더 잘 예약하거나 수학 문제를 더 잘 풀게 된 것은 아닙니다. 실제로 과제 성공률의 차이는 너무 작아서 저자들은 이를 "미결정(unresolved)" 상태(숫자가 너무 비슷해서 결론을 내리기 어려움)라고 말합니다.
"온보딩"의 효과: 논문은 코치에게 사용자에 대한 초기 정보(이를 "온보딩"이라 함)를 약간 제공하는 것이 큰 도움이 된다는 것을 발견했습니다. 이 단계를 건너뛰면 코치가 학습하는 데 더 오래 걸리고 성능도 떨어졌습니다.
"하나의 크기로 모두에게 적용"은 없음: 이 논문은 이 방법이 로봇을 모든 면에서 더 낫게 만든다는 생각을 명시적으로 부정합니다. 이 방법은 로봇이 당신의 스타일에 더 잘 맞도록 만들지만, 그것이 원래 하던 핵심 업무를 더 똑똑하게 만드는 것은 아닙니다.

결론

FABLE는 거대하고 변경 불가능한 AI 로봇이 마치 당신만을 위해 만들어진 것처럼 느껴지게 만드는 영리하고 가벼운 방법입니다. 이것은 로봇의 뇌를 전혀 건드리지 않고도 당신의 구체적인 취향(예를 들어, 얼마나 수다스럽기를 원하는지 또는 어떤 도구를 좋아하는지)을 학습함으로써 가능합니다.

하지만 이 논문은 그 한계에 대해서도 매우 솔직합니다. 이 방법은 로봇이 당신의 스타일에 맞춰 춤을 추도록 가르쳐주는 훌륭한 코치가 될 수는 있지만, 로봇이 이미 달리기 선수였다면 달리기를 가르쳐줄 수는 없듯이, 로봇이 이미 잘하지 못하는 문제를 해결하는 천재가 되게 만들 수는 없다는 점을 시사합니다. 요약하자면, FABLE는 얼어붙은 로봇에게 당신의 음악에 맞춰 춤추는 법을 가르쳐주는 완벽한 코치이지만, 로봇이 이미 달리기 선수였다고 해서 마라톤을 뛰는 법을 가르쳐주지는 못합니다.

기술 요약: 소규모 정책 모델을 통한 대규모 언어 모델 에이전트의 개인화

문제 정의

본 논문은 기반이 되는 호스트 모델을 수정하지 않고도 개별 사용자를 위해 대규모 언어 모델(LLM) 에이전트를 개인화하는 과제를 다룹니다. LLM 에이전트는 메모리를 검색하고, 도구를 호출하며, 응답 스타일을 조정할 수 있지만, 이러한 실행 결정을 특정 사용자 선호도에 맞게 적응시키는 것은 여전히 어렵습니다. 기존 방식들은 다음과 같은 상당한 한계에 직면해 있습니다:

미세 조정(Fine-tuning): 사용자마다 모델 파라미터를 적응시키는 것은 계산 비용이 많이 들며, 독점적인 블랙박스 시스템의 경우 불가능한 경우가 많습니다.
프롬프트 및 메모리: 이러한 방법들은 사용자 정보를 에이전트에 노출시키지만, 피드백(사용자의 반응)을 바탕으로 에이전트의 실행 정책(예: 언제 질문할지, 언제 도구를 사용할지)을 적응시키지는 못합니다.
단일 메커니즘 적응: 하나의 구성 요소(예: 메모리 검색 또는 도구 선택)만을 적응시키는 최근의 방법들은 전체 상호작용에 대한 단일 스칼라 피드백 신호(사용자의 반응)를 실행 결정의 결합 공간(joint space) 전체에 할당하는 데 실패합니다.

핵심적인 어려움은 **희소한 피드백(sparse feedback)**입니다. 시스템은 선택된 실행 결정의 특정 조합에 대해서만 스칼라 결과값을 관찰하며, 다른 조합들의 성능은 관찰되지 않은 상태로 남습니다. 또한, 시스템은 엄격한 제약 조건(예: 권한, 안전 규칙)을 준 준수해야 하며, 온보딩 정보를 고정된 규칙이 아닌 수정 가능한 사전 증거로 취급해야 합니다.

저자들은 이를 외부의 실현 가능성 집합(feasibility sets)에 의해 제약된, 인수 분해된 액션 공간(factorized action space)에 대한 사용자별 실행 정책에 관한 온라인 학습 문제로 정식화합니다. 이때 오직 선택된 액션에 대해 관찰된 스칼라 피드백만을 사용합니다.

방법론: FABLE

저자들은 잠재적으로 블랙박스인 호스트 에이전트 외부에서 작동하는 경량화된 정책 레이어인 FABLE(Factorized Adaptive Bandit Layer for Execution)을 제안합니다. FABLE는 호스트 에이전트의 가중치, 그래디언트 또는 은닉 상태에 접근할 필요가 없습니다.

주요 구성 요소

인수 분해된 액션 공간(Factorized Action Space): 실행 결정 $a$ 는 메모리 모드, 정보 습득 모드, 응답 동작을 나타내는 튜플 $(m, \tau, s)$ 로 정의됩니다. 전체 결합 공간(joint space)에 대해 정책을 학습하는 대신(결합 공간은 조합적으로 매우 큼), FABLE는 인수 분해된 특징 맵(factorized feature map) $\phi(c, a)$ 를 사용합니다. 이 맵은 각 구성 요소의 주 효과(main effects)와 쌍방향 상호작용을 포함하며, 이를 통해 하나의 결합 액션으로부터 얻은 피드백이 관련 구성 요소에 대한 선호도를 업데이트할 수 있게 합니다(예: 불필요한 확인 요청에 대한 불만족은 메모리 설정과 관계없이 '확인 요청' 선호도를 업데이트함).
잔차 선호 모델(Residual Preference Model): 기대 피드백은 다음과 같이 모델링됩니다:
$E[y_t | c, a] = \bar{b}(c, a) + \phi(c, a)^\top \theta^*$
여기서 $\bar{b}(c, a)$ 는 알려진 사전 지정된 기본 점수에서 운영 비용을 뺀 값이며, $\theta^*$ 는 **사용자 특유의 잔차 선호도(residual preference)**를 나타냅니다. 이 접근 방식은 시스템이 호스트의 유용한 일반적 동작을 유지하면서 사용자의 편차만을 학습할 수 있게 합니다.
수정 가능한 온보딩(Revisable Onboarding): 온보딩 중에 제공된 사용자 선호도는 유한한 정밀도를 가진 의사 관측치(pseudo-observations)로 취급됩니다. 이는 $\theta$ 에 대한 가우시안 사후 분포를 초기화하지만 정책을 고정하지는 않습니다. 온라인 피드백이 들어옴에 따라 사후 분포가 업데이트되어 시스템이 초기 가정을 수정할 수 있게 합니다.
제약 조건이 있는 톰슨 샘플링(Feasibility-Constrained Thompson Sampling):
- 필터링: 선택 전, 외부 필터가 하드 제약 조건(권한, 도구 가용성)에 따라 부적절한 액션을 제거합니다.
- 샘포링: FABLE는 현재 가우시안 사후 분포로부터 잔차 파라미터 $\tilde{\theta}_t$ 를 샘플링하고(보정된 계수 $\nu_t$ 에 의해 스케일링됨), 실현 가능한 집합 $A_t$ 내에서 기대 점수를 최대화하는 액션 $a_t$ 를 선택합니다.
- 업데이트: 실행 후, 잔차 피드백을 사용하여 공액 업데이트(conjugate updates)를 통해 가우시안 사후 분포를 업데이트합니다.
승격 규칙(Promotion Rule): 학습된 선호도는 언제든 유효한 신뢰 구간(confidence sequence)이 0을 제외할 때만 지속적인 규칙으로서 호스트에 다시 기록될 수 있습니다. 이는 통계적으로 유의미한 선호도만이 승격되도록 보장합니다.

이론적 결과

본 논문은 선형 잔차 피드백 모델 하에서 FABLE에 대한 **실현 가능한 오라클 레그렛 보장(feasible-oracle regret guarantee)**을 확립합니다.

레그렛 경계(Regret Bound): 이론적으로 보정된 가우시안 샘플링 스케일 $\nu_t = \sqrt{9d \log(t/\delta)}$ 를 사용할 때, FABLE는 각 라운드의 최적의 실현 가능한 액션에 대해 높은 확률로 $\tilde{O}(d^{3/2}\sqrt{n})$ 의 레그렛을 달성합니다.
식별 가능성(Identifiability): 저자들은 실현 가능성 제약으로 인해 특정 액션이 지속적으로 제외될 때 어떤 선호 방향이 식별 가능한지를 규명하며, 제외된 구성 요소 간의 비교를 요구하는 선호도는 온라인 데이터만으로는 학습될 수 없음을 명시합니다.

실험적 평가

FABLE는 실행 가능한 도구 사용 태스크를 포함하는 4개 도메인의 tau2-bench 프로토콜(항공, 소매, 통신, 뱅킹 지식)에서 평가되었습니다.

주요 결과

개인화된 보상 및 정렬(Personalized Reward and Alignment): 전체 FABLE 정책은 테스트된 모든 정책 중 가장 높은 관찰된 개인화된 보상과 **합성 언어적 정렬(synthetic verbosity alignment)**을 달로했습니다. 호스트 베이스라인과 비교했을 때, 95% 신뢰 구간을 포함하여 개인화된 보상(+0.077)과 정렬(+0.281) 측면에서 유의미한 이득을 보였습니다.
태스크 성공률: FABLE는 동결된 호스트와 함께 가장 높은 평균 태스크 성공률을 기록하며 공동 1위를 차지했습니다. 그러나 호스트 대비 개선 정도는 통계적으로 유의미하지 않았습니다(95% CI가 0을 포함함). 논문은 태스크 성공률이 도메인별로 차이가 있음을 언급했습니다(항공에서는 낮고, 소매에서는 동등하며, 통신 및 뱅킹에서는 더 높음).
절제 연구(Ablation Studies):
- 인수 분해(Factorization): FABLE를 평탄한 완전 액션(flat complete-action) LinTS와 비교했을 때, 인수 분해가 정렬도를 유의미하게 향상시켰으며, 이는 액션 구성 요소 간의 정보 전달을 뒷받กัน합니다.
- 온보딩(Onboarding): 온보딩을 제거했을 때 가장 큰 성능 저하가 발생했으며, 이는 잔차 좌표를 사전 증거로 초기화하는 것의 가치를 확인시켜 줍니다.
- 온라인 적응(Online Adaptation): 전체 FABLE를 "동결된(no online updates)" 버전과 비교했을 때, 온라인 적응이 정렬도를 개선했으나 태스크 성공률은 유사하게 유지되었습니다.
추가 벤치마크: PAHF(Embodied Manipulation 및 Online Shopping)와 Math500(개인화된 추론)에 대한 실험 결과는 엇갈린 결과를 보였습니다. Embodied Manipulation에서 FABLE(전체)는 FABLE(온보딩 없음)보다 낮은 보상(0.6214 vs 0.6470)을 기록했지만, 더 높은 성공률(0.078 vs 0.052)을 보였는데, 이는 구성 요소의 상대적 이점이 환경마다 다름을 나타냅니다. Online Shopping에서 FABLE(전체)는 FABLE(온보딩 없음)보다 보상과 성공률 모두에서 우수한 성능을 보였습니다. Math500에서는 FABLE(전체)와 FABLE(온보딩 없음)이 가장 높은 정확도로 동률을 기록했으나, FBLE(전체)는 "알려진 선호도(Known Preference)" 베이스라인보다 낮은 정렬도를 보였습니다.

의의 및 주장

본 논문은 실행 제어를 제약된 컨텍스트 밴딧 문제로 취급함으로써, 고정된 블랙박스 에이전트를 개인화하는 원칙적인 프레임워크를 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

개인화를 모델 튜닝으로부터 분리: 호스트 LLM을 미세 조정하지 않고도 사용자별 적응을 가능하게 하여, 독점 시스템에도 적용할 수 있습니다.
희소한 결합 피드백 처리: 액션 공간을 인수 분해하고 잔차 선호도를 모델링함으로써, 전체 상호작용을 평가하는 희소한 스칼라 피드백으로부터 효율적으로 학습합니다.
안전 및 제약 조건: 학습 과정에서 안전과 준수가 결코 타협되지 않도록 탐색 전에 외부 실현 가능성 제약을 엄격히 강제합니다.
겸허한 주장: 저자들은 FABLE가 특정 맥락에서 선호도 민감 지표(보상 및 정렬)를 개선하지만, 실험이 일반적인 태스크 성공률이나 균일한 도메인 수준의 이득을 입증하는 것은 아님을 명시적으로 밝힙니다. 결과는 제어된 합성 언어적 적응과 실행 가능한 통합을 지원하지만, 모든 지표나 벤치마크에 대해 보편적인 우월성을 주장하지는 않습니다. 특히 PAHF에서의 성능 순위는 환경과 절제 조건에 따라 크게 달랐습니다.

이 연구는 작은 외부 정책 레이어가 어떻게 사용자의 선호도를 효과적으로 학습하고 적응할 수 있는지 보여줌으로써, 정적인 에이전트 능력과 동적인 사용자 요구 사이의 간극을 메웁니다.