💬 NLP

Context Training with Active Information Seeking

본 논문은 검색 도구를 통한 능동적 정보 탐색과 검색 기반 가지치기 절차를 결합하여 다양한 도메인에서 대규모 언어 모델의 성능을 획기적으로 향상시키고, 단순한 도구 통합 및 폐쇄 루프 컨텍스트 최적화의 한계를 극복하는 데이터 효율적 컨텍스트 학습 프레임워크를 제안한다.

원저자: Zeyu Huang, Adhiguna Kuncoro, Qixuan Feng, Jiajun Shen, Lucio Dery, Arthur Szlam, Marc'Aurelio Ranzato

게시일 2026-05-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zeyu Huang, Adhiguna Kuncoro, Qixuan Feng, Jiajun Shen, Lucio Dery, Arthur Szlam, Marc'Aurelio Ranzato

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"Context Training with Active Information Seeking" 논문에 대한 설명을 쉬운 언어와 창의적인 비유로 풀어보겠습니다.

핵심 아이디어: "열심히 생각하기" 대신 "찾아보기"를 가르치는 모델

당신에게 막대한 양의 책들을 특정 날짜까지 읽었지만 인터넷 접속 권한은 없고, 새로운 것을 영구적으로 학습하기 위해 뇌 구조 (가중치) 를 바꿀 수도 없는, 재능은 있지만 약간 고집스러운 학생 (AI 모델) 이 있다고 상상해 보세요.

보통 이 학생이 새롭고 까다로운 문제에 직면했을 때, 우리는 그들이 시작하기 전에 "요약 노트" (컨텍스트) 를 다시 써서 도와줍니다. "이 규칙을 기억해!" 또는 "이것은 이를 수행하는 방법의 예시야"라고 말해 주는 것이죠.

문제점:
과거 이 "요약 노트"는 폐쇄된 고리였습니다. 학생은 이미 알고 있는 것이나 우리가 수동으로 입력한 것만 사용할 수 있었습니다. 만약 정답이 훈련용 책에 존재하지 않는 사실 (어제 발표된 의료 가이드라인이나 새로운 프로그래밍 언어의 특정 코드 등) 을 요구한다면, 학생은 틀리게 추측하거나 환각 (사실을 지어냄) 을 일으켰습니다. 그들은 창문이 없는 방에 갇혀 있었던 것입니다.

논문의 해결책:
저자들은 학생에게 검색 엔진과 웹 브라우저를 주었습니다. 이제 학생이 모르는 것이 있으면, 능동적으로 나가 위키피디아나 웹에서 정답을 찾아 요약 노트에 추가할 수 있게 되었습니다.

그러나 논문은 한 가지 함정을 발견했습니다: 브라우저만 주는 것만으로는 부족합니다. 사실, 그들이 무작위로 검색하게 하고 요약 노트를 한 단계씩 업데이트하게 하면, 오히려 상황이 나빠지는 경우가 많습니다. 가짜 뉴스 기사를 찾아 요약 노트에 복사해 넣은 뒤, 그것에 혼란을 겪을 수 있기 때문입니다. 이를 **"컨텍스트 오염 (Context Pollution)"**이라고 부릅니다.

비밀 무기: "재능 쇼" 접근법 (빔 서치)

오염 문제를 해결하기 위해 저자들은 학생이 검색하게 하는 것뿐만 아니라, 어떻게 요약 노트를 업데이트하는지 변경했습니다. 단일한 선형 경로 대신 **빔 서치 (Beam Search)**라는 방법을 사용했습니다.

비유: 재능 쇼 오디션
연극을 위한 완벽한 대본 (완벽한 컨텍스트) 을 찾는다고 상상해 보세요.

구식 방법 (순차적 학습): 초안 하나를 작성하고 감독에게 보여줍니다. 감독이 "이 부분을 고쳐"라고 하면 다시 쓰고, 다시 보여주고, 이를 반복합니다. 5 번째 초안에 실수로 끔찍한 대사를 썼다면, 당신은 그 대사에 갇히게 됩니다. 고치려고 노력할지라도 대본은 점점 더 나빠질 수 있습니다.
새로운 방법 (빔 서치): 다섯 명의 다른 작가 (후보군인 '빔') 를 고용합니다.
1. 작가 A 는 사전 추가를 시도합니다.
2. 작가 B 는 위키피디아 기사 추가를 시도합니다.
3. 작가 C 는 브라우저 검색 추가를 시도합니다.
4. 작가 D 는 코드 예제 추가를 시도합니다.
5. 작가 E 는 아무것도 하지 않고 기존 대본을 유지하기로 결정합니다.

모두가 초안을 작성한 후, 연습 관객 (검증 데이터) 앞에서 모두 테스트해 봅니다.

만약 작가 B 의 초안 (위키피디아 버전) 이 배우들의 연기를 엉망으로 만든다면, 그 가지 (branch) 를 잘라냅니다. 그 대본을 폐기하는 것이죠.
만약 작가 A 의 초안 (사전 버전) 이 훌륭하게 작동한다면, 그것을 유지하고 다음 장을 쓰게 합니다.
만약 작가 E (아무것도 하지 않음) 가 실제로는 가장 안전한 선택지라면, 그것도 유지합니다.

이렇게 하면 학생이 웹에서 "유독한" 정보를 발견하더라도, 시스템이 즉시 그것을 감지하고 모든 것을 망치기 전에 그 버전의 요약 노트를 폐기할 수 있습니다. 이는 시스템이 다양한 전략들을 동시에 탐색하고 실제로 작동하는 것들만 유지할 수 있게 합니다.

그들이 발견한 것 (결과)

이 팀은 세 가지 매우 다른 유형의 "시험"에서 이를 테스트했습니다:

저자원 번역 (희귀 언어 학습):
- 도전 과제: AI 가 거의 알지 못하는 초코 (Chokwe) 나 부기 (Buginese) 같은 언어로 영어를 번역하는 것.
- 결과: 단순히 검색 도구를 추가하는 것만으로는 AI 가 더 나빠졌습니다 (나쁜 정보에 혼란을 겪음). 하지만 "재능 쇼" (빔 서치) 방법을 사용하면, AI 는 온라인에서 올바른 사전과 문법 규칙을 찾는 법을 배워 훨씬 크고 비싼 모델들까지 능가했습니다.
의료 시나리오 (의료 조언):
- 도전 과제: 최신 프로토콜을 알아야 하는 의사처럼 행동하는 것.
- 결과: 다시 말해, 무작위 검색은 잘못된 조언으로 이어졌습니다. 하지만 빔 서치 방법은 AI 가 정확한 의료 가이드라인을 찾아 검증하도록 도와주어, 이용 가능한 가장 비싼 의료 AI 모델들과同等한 성능을 발휘했습니다.
어려운 추론 및 코딩:
- 도전 과제: 복잡한 수학 문제를 풀거나 어려운 코드를 작성하는 것.
- 결과: AI 는 검색 도구를 사용하여 자신이 알지 못하는 특정 기술 문서를 찾아냈고, 그 결과 더 나은 코드와 어려운 시험에서 더 높은 정확도를 달성했습니다.

주요 교훈

능동적 검색은 강력합니다: AI 에게 작업을 수행하는 동안 정보를 찾아볼 수 있는 능력을 부여하는 것은 게임 체인저이지만, 신중하게 관리해야만 가능합니다.
한 가지 경로만 신뢰하지 마세요: AI 가 한 번에 한 단계씩 지식을 업데이트하게 하면, 나쁜 정보의 고리에 갇히게 될 가능성이 높습니다. 여러 옵션을 열어두고 나쁜 것들을 일찍 잘라내야 합니다.
데이터 효율적입니다: 이 방법은 아주 적은 양의 연습 데이터 (예: 128 개의 예시) 만으로도 잘 작동합니다. 마치 나머지 부분을 찾아보는 법을 아는 학생이 몇 가지 좋은 예시만으로도 많이 배우는 것과 같습니다.
일반화됩니다: 한 모델을 위해 AI 가 만든 "요약 노트"는 실제로 더 크고 강력한 다른 모델의 성능을 높이는 데도 도움이 됩니다. 이는 AI 가 한 특정 뇌를 위한 트릭을 외우는 것이 아니라, 실제로 유용한 지식을 찾고 있음을 증명합니다.

간단히 말해: 이 논문은 AI 를 새로운 작업에서 더 똑똑하게 만들기 위해 단순히 더 많이 암시하게 강요해서는 안 된다고 가르쳐 줍니다. 대신 검색하는 법을 가르쳐야 하며, 인터넷에서 실수로 잘못된 것을 배우지 않도록 **안전망 (빔 서치)**을 사용해야 합니다.

기술 요약: 능동적 정보 탐색을 활용한 컨텍스트 학습

문제 제기

대형 언어 모델 (LLM) 은 배포 후 newly produced information(새롭게 생성된 정보) 이나 틈새 도메인 지식이 필요한 작업에 적응하는 데 상당한 어려움을 겪습니다. 재학습이나 파인튜닝은 하나의 해결책이 될 수 있지만, prohibitive costs(막대한 비용) 를 초래하고 catastrophic forgetting(치명적 망각) 의 위험을 내포합니다. 따라서 최근 연구는 모델 가중치를 업데이트하지 않고 새로운 작업에 적응하기 위해 입력 컨텍스트 (작업 기억) 를 반복적으로 정제하는 컨텍스트 최적화로 초점을 이동시켰습니다.

그러나 기존 컨텍스트 최적화 방법들은 폐쇄 루프 시스템으로만 작동한다는 근본적인 한계를 안고 있습니다. 이러한 프레임워크는 모델의 고정된 매개변수 지식과 내부 반성 능력에만 의존합니다. 필요한 정보 (예: 최근 보고서나 특정 기술적 사실) 가 모델의 학습 데이터 외부에 있을 경우, 최적화기는 이를 발견할 수 없습니다. 이로 인해 두 가지 치명적인 실패 모드가 발생합니다:

컨텍스트 오염: 외부 근거가 없으면 최적화기는 환각을 일으키거나 저품질의 오해의 소지가 있는 정보를 컨텍스트에 주입할 수 있으며, 이는 회복하기 어렵습니다.
국소 최적점: 탐욕적이고 순차적인 최적화 전략은 종종 비최적 궤도에 갇히게 되어, 더 나은 접근법을 발견하는 대신 동일한 비효율적인 전략 (예: 사전 확장) 을 반복적으로 정제하게 됩니다.

방법론

본 논문은 컨텍스트 최적화기에 외부 도구와 검색 기반 학습 절차를 갖춘 능동적 정보 탐색을 활용한 컨텍스트 학습을 제안합니다.

1. 능동적 정보 탐색 도구

최적화 에이전트는 고정된 지식을 초월하기 위해 두 가지 구체적인 도구를 추가로 갖춥니다:

WikipediaSearchTool: 에이전트가 위키백과에서 데이터를 쿼리하고 파싱할 수 있게 하여, 주로 선언적 지식 격차 (정의, 사실) 를 해결합니다.
BrowserUseTool: 위키백과에 아직 색인되지 않은 코드 스니펫, 최근 보고서, 또는 문서를 추출하기 위해 웹 페이지를 동적으로 탐색할 수 있게 합니다. 이는 복잡한 정보 탐색 시나리오에 사용됩니다.

2. 구조화된 컨텍스트 관리

단일 텍스트 프롬프트 대신, 컨텍스트는 개별 리소스 항목으로 구성된 구조화된 데이터베이스로 인스턴스화됩니다. 각 항목에는 고유 ID, 요약, 원본 콘텐츠, 메타데이터 (출처, 임베딩) 가 포함됩니다. 최적화기는 함수 호출을 통해 이 데이터베이스와 상호작용하여 리소스를 추가, 삭제, 업데이트하거나 검색함으로써, 전체 컨텍스트를 재생성하는 것이 아닌 정밀한 업데이트를 가능하게 합니다.

3. 빔 탐색 기반 학습

표준 순차 학습에 내재된 컨텍스트 오염과 국소 최적점의 위험을 완화하기 위해, 저자들은 탐욕적이고 단일 궤도인 접근 방식을 빔 탐색 스타일의 학습 프로세스로 대체합니다:

후보 풀: 시스템은 $K$ 개의 후보 컨텍스트 ( $\mathbb{C}_t$ ) 집합을 유지합니다.
확장: 각 후보에 대해 최적화기는 다양한 업데이트 전략 (예: 다른 기사 검색, 퓨샷 예시 수집) 을 병렬로 탐색하여 $M$ 개의 자식 컨텍스트를 생성합니다.
선택 및 가지치기: 이전 단계의 최상위 컨텍스트 ( "아무것도 하지 않음" 옵션으로 작용) 를 포함한 모든 후보를 홀드아웃 검증 세트에서 평가합니다. 상위 $K$ 개 성능을 보이는 컨텍스트만 유지됩니다.
메커니즘: 이 과정을 통해 시스템은 최종 컨텍스트를 저하시키기 전에 노이즈가 섞인 외부 데이터로 오염되거나 약한 전략에 갇힌 궤도를 폐기할 수 있습니다.

주요 기여

실패 모드 식별: 본 논문은 표준 순차 컨텍스트 학습에 웹 검색 도구를 단순히 추가하는 것이 컨텍스트 오염과 국소 최적점 포착으로 인해 종종 성능을 저하시킨다는 것을 입증합니다.
검색 기반 학습 절차: 저자들은 능동적 정보 탐색을 빔 검색 학습 파이프라인과 결합하면 이러한 문제를 효과적으로 완화하여 일관되고 상당한 성능 향상을 가능하게 함을 보여줍니다.
구조화된 컨텍스트 인터페이스: 컨텍스트 관리를 위한 버전 관리가 된 구조화된 데이터베이스 구현은 기존 프롬프트 엔지니어링과 구별되는 정보의 정밀한 조작 및 검색을 가능하게 합니다.
일반화 및 효율성: 이 방법은 데이터 효율적 (최소 32 개의 학습 샘플로도 잘 작동) 이며, 다양한 모델 아키텍처에 걸쳐 일반화되는 컨텍스트를 생성할 수 있음이 입증되었습니다.

실험 결과

이 프레임워크는 저자원 기계 번역(FLORES+), 의료 시나리오(HealthBench), 복합 추론(LiveCodeBench 및 Humanity's Last Exam) 등 다양한 도메인에서 평가되었습니다.

저자원 번역: 다섯 가지 저자원 언어 쌍에서 제안된 BeamSearch-IS 방법은 평균 ChrF++ 점수 34.51을 기록하여, 최상의 비-IS 베이스라인 (31.94) 과 훨씬 큰 Gemini-2.5-Pro 모델 (30.37) 을 능가했습니다. 반면, 검색 도구를 사용한 순차적 접근법 (Seq-IS) 은 29.68 로 하락하여 빔 검색 메커니즘의 필요성을 확인시켜 주었습니다.
의료: HealthBench 에서 BeamSearch-IS 는 0.5026의 종합 점수를 기록하여 더 큰 Gemini-2.5-Pro(0.5030) 와 유사한 수준을 보였으며, 순차적 베이스라인 (0.4629) 을 능가했습니다. 특히 "응급 진료 의뢰" 분야에서 뛰어난 성과를 보였는데, 이는 오류에 민감한 작업에서 단순한 확장보다 능동적 검증이 우월함을 시사합니다.
추론 작업: LiveCodeBench 와 HLE 에서는 내부 추론에만 의존하는 방법들이 미미한 개선만 보였습니다. BeamSearch-IS 는 일관된 개선을 이루어 HLE 에서 **8.63%**의 평균 정확도 (베이스라인 6.53% 대비) 에 도달했고, LiveCodeBench Hard 의 pass@1 을 **33.9%**로 향상시켰습니다.
크로스-모델 일반화: Gemini-2.5-Flash 에서 최적화된 컨텍스트는 추가 튜닝 없이 더 강력한 Gemini-3-Flash 에 직접 적용되었습니다. BeamSearch-IS 컨텍스트는 모든 도메인에서 일관된 향상을 보인 반면, 폐쇄 루프 순차 컨텍스트는 종종 성능 후퇴를 초래했습니다.

중요성과 주장

본 논문은 능동적 정보 탐색이 컨텍스트 최적화를 수동적이고 폐쇄 루프적인 정제 과정이 아닌 능동적이고 근거 있는 지식 탐색으로 변환한다고 주장합니다. 주요 중요성은 다음을 입증하는 데 있습니다:

모델의 매개변수 기억 외부의 지식이 필요한 작업을 처리하기 위해 컨텍스트 최적화기에 외부 근거가 필수적입니다.
외부 도구를 효과적으로 활용하기 위해서는 검색 기반 학습이 전제 조건입니다. 빔 검색과 같은 노이즈가 섞인 업데이트를 가지치기하는 메커니즘이 없으면 외부 도구는 오히려 해가 될 수 있습니다.
이 접근법은 데이터 효율적이고 모델 중립적으로, 파인튜닝 비용 없이 LLM 을 틈새 도메인과 새로운 정보에 특화시킬 수 있는 경로를 제공합니다.

저자들은 한계점을 지적했는데, 구체적으로 이 방법은 기본 모델이 검색된 컨텍스트를 효과적으로 활용할 수 있는 능력에 의존하며, 구축된 컨텍스트는 희소하고 인스턴스 특정적일 수 있다고 언급합니다. 향후 연구는 컨텍스트 활용 능력을 강화하고 더 다양한 정보를 수집하기 위한 탐색을 확장하는 데 초점을 맞추는 것이 제안됩니다.