🤖 machine learning

Beyond Experience Retrieval: Learning to Generate Utility-Optimized Structured Experience for Frozen LLMs

이 논문은 고정된(frozen) LLM의 성능을 높이기 위해, 외부 검색 방식 대신 경량 플러그인인 SEAM을 통해 유틸리티가 최적화된 구조화된 경험을 단일 패스 내에서 직접 생성하여 모델의 추론 능력을 향상시키는 방법을 제안합니다.

원저자: Xuancheng Li, Haitao Li, Yujia Zhou, Yiqun Liu, Qingyao Ai

게시일 2026-04-28

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xuancheng Li, Haitao Li, Yujia Zhou, Yiqun Liu, Qingyao Ai

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🧠 배경: "똑똑하지만 건망증이 심한 천재 학생"

현재의 거대 언어 모델(LLM)은 마치 **'엄청난 지식을 가졌지만, 방금 틀린 문제도 다음번에 또 틀리는 건망증 심한 천재 학생'**과 같습니다.

문제를 풀 때마다 매번 처음부터 다시 생각해야 하고, 예전에 했던 실수를 똑같이 반복하곤 하죠. 기존에는 이 문제를 해결하기 위해 '오답 노트(외부 데이터베이스)'를 옆에 두고, 문제가 나올 때마다 비슷한 문제를 검색해서 찾아보는 방식(RAG)을 썼습니다. 하지만 이 방식은 노트를 뒤지는 데 시간이 걸리고, 정작 문제 풀이에 도움이 안 되는 쓸데없는 정보까지 가져오는 단점이 있었습니다.

✨ 해결책: SEAM – "머릿속에 요령을 저장한 초능력 비서"

이 논문에서 제안하는 SEAM은 학생 옆에서 문제를 풀 수 있게 도와주는 **'초능력 비서'**입니다. 이 비서는 기존 방식과 결정적으로 다른 두 가지 특징이 있습니다.

1. "검색하지 않고, 바로 말해줍니다" (Parametric Experience)

기존 비서가 도서관에서 책을 뒤져서 정보를 가져왔다면, SEAM은 경험을 자신의 '뇌(파라미터)'에 직접 저장해 두었습니다. 그래서 문제가 나오자마자 "이런 유형은 이렇게 접근해야 해!"라고 즉각적으로 핵심 요령을 말해줍니다. 덕분에 속도가 훨씬 빠르고 효율적입니다.

2. "정답만 골라내는 실전 압축 요령" (Utility-Optimized)

SEAM은 단순히 "비슷한 문제"를 찾아주는 게 아니라, **"이 학생이 이 문제를 풀 때 진짜로 도움이 되는 조언"**이 무엇인지 학습합니다.

비유하자면: 수학 문제를 풀 때 "이 문제는 1990년에 나왔어"라는 쓸데없는 정보 대신, **"이 문제는 식을 세울 때 분모를 먼저 통분하는 게 핵심이야!"**라는 실전 팁을 주는 식이죠.

🛠️ 어떻게 학습하나요? (훈련 과정)

SEAM은 아주 독특한 방식으로 훈련됩니다.

여러 가지 조언 던져보기: 비서가 문제 하나에 대해 여러 가지 버전의 조언(요령)을 만들어 봅니다.
학생의 반응 확인하기: 학생(LLM)에게 그 조언을 주고 실제로 문제를 풀게 합니다.
성적표 보고 반성하기: 학생이 문제를 맞히면 "오, 방금 그 조언 좋았어!"라고 칭찬하고, 틀리면 "그 조언은 별로였어"라고 점수를 매깁니다. 이 과정을 반복하며 비서는 **'학생을 정답으로 이끄는 최고의 조언법'**을 스스로 깨우칩니다.

🚀 결과: 무엇이 좋아졌나요?

성적이 쑥쑥 올라요: 특히 아주 어려운 수학 문제(AIME 등)를 풀 때, SEAM의 조언이 있으면 학생의 정답률이 눈에 띄게 높아졌습니다.
속도가 빨라요: 외부에서 정보를 찾는 과정이 없으니 전체적인 문제 풀이 시간이 단축되었습니다.
맞춤형 비서: 학생(LLM)의 성격(강점과 약점)에 맞춰서, 그 학생이 가장 잘 알아들을 수 있는 방식으로 조언을 해줍니다.

📝 요약하자면...

이 논문은 **"외부에서 정보를 찾아오는 방식"**에서 벗어나, **"경험을 지능적으로 압축해 머릿속에 저장했다가, 결정적인 순간에 딱 맞는 조언을 건네주는 가이드"**를 만든 것입니다.

마치 시험장에 들어갈 때 두꺼운 참고서를 들고 가는 대신, 내 약점을 완벽히 파악하고 핵심 전략만 귓속말로 속삭여주는 최고의 코치를 데려가는 것과 같습니다!

[기술 요약] SEAM: 고정된 LLM을 위한 유틸리티 최적화 구조적 경험 생성 학습

1. 문제 정의 (Problem Statement)

현재의 대규모 언어 모델(LLM)은 기본적으로 **정적(Static)**인 특성을 가집니다. 새로운 문제에 직면했을 때, 모델은 과거의 경험을 활용하기보다는 처음부터 다시 추론하거나, 이미 저질렀던 실수를 반복하는 경향이 있습니다.

이를 해결하기 위해 기존에는 RAG(Retrieval-Augmented Generation) 방식을 사용하여 외부 경험 라이브러리에서 유사한 사례를 검색해 프롬프트에 추가하는 방식을 사용해 왔습니다. 하지만 이 방식은 다음과 같은 치명적인 한계가 있습니다:

유사성 $\neq$ 유용성 (Similarity $\neq$ Utility): 검색 엔진은 표면적인 의미 유사성을 기준으로 정보를 가져오지만, 정작 모델의 추론을 돕는 데 결정적인 '유용성'을 보장하지는 않습니다. 오히려 노이즈를 유발할 수 있습니다.
높은 오버헤드 (Inference Overhead): 외부 저장소 관리, 검색 과정, 요약 및 정제 과정에서 추가적인 연산과 지연 시간(Latency)이 발생합니다.

2. 핵심 방법론 (Methodology: SEAM)

본 논문은 외부 라이브러리를 검색하는 대신, 경험을 경량 모델의 파라미터 내에 인코딩하여 직접 생성하는 **SEAM (Structured Experience Adapter Module)**을 제안합니다.

A. 아키텍처 (Architecture)

SEAM은 고정된(Frozen) 대형 LLM(Executor) 옆에 붙는 경량 플러그인입니다. 추론 시 단 한 번의 순전파(Forward Pass)를 통해 다음과 같은 세 가지 요소가 포함된 **구조화된 경험(Structured Experience)**을 생성합니다:

문제 분석 (Problem Analysis): 문제의 난이도, 구조, 예상되는 실패 지점 진단.
경험적 하이라이트 (Experience Highlights): 과거 시행착오에서 얻은 재사용 가능한 전략 및 주의사항.
참조 계획 (Reference Plan): 정답을 직접 알려주는 것이 아니라, 신뢰할 수 있는 단계별 작업 흐름(Workflow) 제시.

B. 학습 프로세스 (Training: Forward Learning)

SEAM은 Executor를 수정하지 않고, Executor의 행동 결과(성공/실패)를 피드백 삼아 학습합니다.

전방 탐색 (Forward Exploration): SEAM이 하나의 문제에 대해 여러 개의 구조화된 경험 후보( $z$ )를 샘플링합니다.
롤아웃 기반 평가 (Rollout-based Evaluation): 고정된 Executor가 각 경험 후보를 바탕으로 문제를 풀게 하고, 그 결과가 정답인지 확인하여 보상(Reward)을 계산합니다.
파라미터 라이브러리 진화 (Parametric Library Evolution): GRPO(Group Relative Policy Optimization) 알고리즘을 사용하여, Executor의 성능을 실제로 향상시킨(유용성이 높은) 경험을 생성할 확률을 높이도록 SEAM의 파라미터를 업데이트합니다.

추가적으로, 배포 후 성공적인 경험 사례를 로그로 남겨 SFT(Supervised Fine-Tuning)를 수행함으로써 지속적인 진화가 가능합니다.

3. 주요 기여 (Key Contributions)

패러다임의 전환: '검색(Retrieval)' 중심의 경험 활용에서 '생성(Generation)' 중심의 유틸리티 최적화 방식으로 전환했습니다.
효율성 극대화: 외부 데이터베이스 없이 모델 파라미터 내에 경험을 저장하므로 검색 지연 시간이 없으며, 단일 순전파로 가이드를 생성합니다.
Executor 맞춤형 학습: 특정 Executor의 강점과 약점에 최적화된 맞춤형 가이드를 생성하도록 학습됩니다.
구조화된 인터페이스: 단순 텍스트가 아닌 분석-전략-계획의 구조를 강제함으로써 모델의 추론 안정성을 높였습니다.

4. 실험 결과 (Results)

성능 향상: 수학적 추론 벤치마크(GSM8K, MATH, AIME24/25)에서 기존 모델, 직접 학습(Direct Training), RAG 기반 방식보다 일관되게 높은 정확도를 기록했습니다. 특히 난이도가 높은 AIME 문제에서 가장 큰 성능 향상을 보였습니다.
효율성: RAG 기반 방식에 비해 **Time-to-correct (TTC, 정답을 맞힐 때까지 걸리는 시간)**가 훨씬 짧았습니다. 이는 SEAM이 제공하는 가이드가 모델의 탐색 범위를 효과적으로 좁혀주기 때문입니다.
일반화 능력: 수학 데이터로만 학습했음에도 불구하고 코드(Code) 및 질의응답(QA) 도메인에서도 성능 향상이 관찰되어, SEAM이 단순 지식이 아닌 **'추론 프레임워크'**를 학습했음을 입증했습니다.
확장성 (Scaling): 학습에 사용된 경험의 양이 많아질수록 성능이 단조 증가하는 스케일링 법칙(Scaling Law)을 보여주었습니다.

5. 의의 (Significance)

본 연구는 LLM이 과거의 실수를 반복하지 않고 효율적으로 학습하는 방법을 제시했습니다. 특히 **"모델을 직접 수정하지 않고도(Frozen), 경량 모듈을 통해 모델의 능력을 극대화할 수 있다"**는 점은 비용 효율적인 AI 에이전트 구축에 있어 매우 중요한 기술적 이정표를 제시합니다. 이는 향후 RAG를 넘어선 새로운 형태의 '학습하는 에이전트' 설계에 핵심적인 영감을 제공합니다.