🤖 machine learning

LoongReflect: Boosting Long-Horizon Reflection in Search Agents via Global Perspective Distillation

LoongReflect는 성찰을 메모리 제어 정책으로 정식화하고 이중 채널 증류 메커니즘을 채택하여 국소적 성찰 결정과 전역적 과업 결과를 정렬함으로써, 결과 기반 강화 학습의 희소한 감독 문제를 극복하고 검색 에이전트의 장기 추론 능력을 향상시키는 훈련 프레임워크이다.

원저자: Zhixin Zhang, Xinke Jiang, Zhibang Yang, Weixuan Xu, Guohong Qiu, Xu Chu, Junfeng Zhao, Yasha Wang

게시일 2026-08-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhixin Zhang, Xinke Jiang, Zhibang Yang, Weixuan Xu, Guohong Qiu, Xu Chu, Junfeng Zhao, Yasha Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매우 똑똑하고 의욕 넘치는 로봇에게 거대하고 다단계적인 미스터리를 해결하는 법을 가르치고 있다고 상상해 보세요. 이 로봇은 대규모 언어 모델(LLM)로 구동되는 탐정 같아서, 수백만 권의 책을 읽고, 질문을 던지고, 단서들을 조합할 수 있습니다. 하지만 여기에는 함정이 있습니다. 탐정이 길을 잃거나 잘못된 단서를 따라갈 때, 그들은 전체 내용이 엉망진창이 된 후에야 비로소 그것을 깨닫는 경우가 많다는 점입니다. 인공지능의 세계에서 이것은 "장기적 추론(long-horizon reasoning)"이라고 불립니다. 이는 단순히 한 걸음을 내딛는 것이 아니라, 긴 여정을 계획하는 능력입니다.

가장 큰 문제는 로봇에게 "잠깐, 내가 길을 잘못 들었어, 다시 돌아가자"라고 말하는 법을 가르치는 것이 매우 어렵다는 것입니다. 보통 로봇은 이야기의 맨 마지막에야 성적을 받습니다: "미스터리를 해결했습니다!" 또는 "실패했습니다." 만약 로봇이 세 시간 전에 실수를 했다면, 그 특정 순간이 문제였다는 사실을 전혀 알지 못합니다. 이는 마치 학생이 기말고사에서 나쁜 점수를 받았는데, 어떤 숙제 때문에 문제가 생겼는지 전혀 모르는 것과 같습니다. 이 논문은 바로 그 좌절감을 다룹니다. 어떻게 하면 AI가 자신의 작업을 살펴보고, 오류를 찾아내며, 프로젝트를 망치기 전에 '실행 취소' 버튼을 누를 수 있도록 가르칠 것인가에 대한 문제입니다.

AI 에이전트를 스스로 수정하는 탐정으로 만들기 위해 설계된 새로운 훈련 프레임워크인 LoongReflect를 만나보세요. 북경대학교의 연구진은 AI가 복잡한 퍼즐을 풀기 위해서는 단순히 "다시 시도하기" 버튼 이상의 것, 즉 자신의 역사를 멈추고, 생각하고, 다시 쓰는 구조화된 방법이 필요하다는 것을 깨달았습니다.

AI의 사고 과정을 직선이 아니라 **거대하고 가역적인 트리(tree)**라고 생각해보세요. AI가 문제를 탐구함에 따라 가지가 자라납니다. 대부분의 경우 AI는 한 가지를 따라가며 사실을 수집합니다. 하지만 때때로 막다른 길에 부딪히거나 맞지 않는 단서를 발견하기도 합니다. 과거에는 AI가 그 잘못된 단서를 계속 끌고 가면서 전체 이야기가 무너질 때까지 계속 걸어갔을 것입니다. LoongReflect는 AI에게 두 가지 초능력을 부여합니다: **(성찰)**와 **(되돌아가기)**입니다.

동작은 탐정이 지도를 확인하기 위해 멈춰 서는 것과 같습니다. 그것은 다음과 같이 묻습니다: "내가 확실히 알고 있는 것은 무엇인가? 무엇이 부족한가? 이 가지는 안전한가?" 이는 단순히 추측하는 것이 아니라, 증거를 요약하고 위험 요소를 식별합니다. 만약 탐정이 잘못된 경로에 있다는 것을 깨달으면, 동작을 사용합니다. 이것은 단순히 마지막 문장을 지우는 것이 아닙니다. 이것은 마지막 안전한 체크포인트로 시간 여행을 하여, 엉망이 된 잘못된 가지를 잘라내고, "다시는 이 길로 가지 마시오"라고 적힌 작은 포스트잇을 남겨두는 것과 같습니다. 그러면 AI는 배운 교훈을 품은 채 그 안전한 지점에서 새롭게 시작합니다.

하지만 AI에게 이런 행동을 어떻게 가르칠까요? 이 논문은 까다로운 "학습 신호 딜레마(learning signal dilemma)"를 지적합니다. 만약 AI가 최종 정답을 맞혔을 때만 보상을 준다면, AI는 어떻게 성찰해야 하는지에 대해 거의 도움을 받지 못합니다. 이는 자동차를 운전하는 법을 배우는데, 사고가 났을 때만 경적 소리를 듣는 것과 같습니다. AI는 사고의 원인이 회전 때문인지, 속도 때문인지, 아니면 비 때문인지 알 수 없습니다.

이를 해결하기 위해 저자들은 두 명의 코치가 협력하는 것과 같은 이중 채널 훈련 시스템을 구축했습니다:

빠른 코치 (선생님): 이 코치는 학생이 움직이기 전에 전체 가능성의 트리를 보고 최종 결과를 볼 수 있는 "특권적인(privileged)" 버전의 AI입니다. 이 코치는 학생의 로컬 브랜치를 지켜보며 말합니다. "이봐, 여기서 중요한 단서를 무시하고 있어" 또는 "지금 되돌아가야 해." 결정적으로, 이 코치는 최종 정답을 알려주지는 않습니다(학생이 추론 과정을 건너뛰는 것을 방지하기 위함). 대신 어떻게 생각해야 하는지, 그리고 언제 되돌아가야 하는지에 대한 힌트만을 제공합니다. 이는 AI에게 성찰 기술에 대한 밀도 있고 즉각적인 피드백을 제공합니다.
느린 코치 (결과): 이 코치는 여정의 맨 끝까지 기다립니다. 결과물을 보고 "퍼즐을 잘 풀었습니다!" 또는 "실패했습니다"라고 말합니다. 이 코치는 AI의 국소적인 결정들이 실제로 세상에서 성공으로 이어지는지 확인하기 위해 이 최종 점수를 사용합니다.

마법은 이 두 코치가 협력할 때 일어납니다. "빠른 코치"는 로컬 논리에 기반하여 방향을 제안하고, "느린 코치"는 그 방향이 실제로 승리로 이어지는지 확인합니다. 만약 두 코치가 의견이 다르면, 시스템은 "룩 어헤드(look-ahead)" 방법을 사용하여 빠른 코치의 제안이 AI를 잘못된 길로 인도하지 않도록 조정합니다. 이는 마치 GPS가 지름길을 제안하지만, 교통 관제사가 그 지름길이 실제로 목적지에 더 빨리 도착하게 하는지 확인하는 것과 같습니다.

결과는 유망합니다. 연구진은 어려운 다단계 질문(여러 문서에 숨겨진 특정 사실을 찾는 것 등)과 수학 문제로 LoongRef模型을 테스트했습니다. 그들은 이 방식으로 훈련된 에이전트가 다른 최상위 AI 에이전트들을 지속적으로 능가한다는 것을 발견했습니다. 예를 들어, 30억 파라미터 모델의 경우 평균 점수가 약 31%에서 46% 이상으로 뛰어올랐는데, 이는 상당한 도약입니다. 더욱 인상적인 것은, 이 독해 작업에서 학습된 기술이 한 번도 본 적 없는 수학 문제로 전이되었다는 점이며, 이는 AI가 단순히 정답을 암기하는 것이 아니라 진정으로 '성찰의 기술'을 배웠음을 시사합니다.

요약하자면, LoongReflect는 AI 에이전트에게 자신의 오류를 진단하고, 깔끔하게 실수를 되돌릴 수 있는 구조화된 방법을 제공함으로써, 현재 AI를 어렵게 만드는 복잡한 장기적 문제를 훨씬 더 잘 해결할 수 있게 해준다는 것을 보여줍니다. 이것은 AI를 단순히 계속 걸어가는 로봇에서, 언제 멈추고, 생각하고, 다른 길을 시도해야 하는지를 아는 탐정으로 변화시킵니다.

기술 요약: LoongReflect

문제 정의

대규모 언어 모델(LLM) 에이전트는 계획, 도구 사용, 메모리를 포함한 복잡한 과업을 해결하기 위해 점점 더 긴 호흡의 추론(long-horizon reasoning)에 의존하고 있습니다. 이러한 환경에서 핵심적인 능력은 **성찰(reflection)**입니다. 즉, 궤적(trajectory)의 진행 상황을 평가하고, 누락된 증거나 신뢰할 수 없는 중간 상태를 식별하며, 현재의 추론 분기를 계속 진행할지, 수정할지, 혹은 포기할지를 결정하는 능력입니다.

효과적인 성찰을 학습하는 데에는 두 가지 근본적인 어려움이 따릅니다:

학습 신호의 딜레마 (The Learning-Signal Dilemma): 성찰적 결정의 가치는 수많은 후속 행동에 의해 매개되며, 최종 과업 결과(outcome)를 통해서만 드러납니다. 결과 기반 강화 학습(RL)은 이러한 중간 결정들에 대해 희소하고(sparse), 지연되며(delayed), 약하게 귀속되는(weakly attributable) 감독 신호를 제공합니다. 반대로, 성찰에 명시적인 중간 보상을 할당하는 것은 "보상 해킹(reward hacking)"을 유발하기 쉬우며, 이는 과업 성공을 개선하지 못한 채 피상적이거나 과도한 성찰만을 장려할 위험이 있습니다.
국소적-전역적 관점의 격차 (The Local–Global Perspective Gap): 성찰은 현재의 추론 분기라는 맥락(국소적 관점) 내에서 수행되지만, 그 진정한 효용은 해당 분기가 전체 궤적(전역적 관점)에 어떻게 기여하는지에 달려 있습니다. 국소적 성찰기는 현재 분기를 계속 진행할지, 수정할지, 혹은 포기하는 것이 궁극적으로 최종 결과에 도움이 될지를 직접 관찰할 수 없습니다.

기존 방식들은 성찰을 국소적 판단으로 취급하거나, 장기적 결과와 정렬되지 않은 감독 신호에 의존함으로써, 성찰을 궤적 수준의 제어 메커니즘으로 학습시키는 데 실패했습니다.

방법론: LoongReflect

LoongReflect는 성찰을 장기 호흡 에이전트를 위한 명시적인 **메모리 제어 정책(memory-control policy)**으로 정식화하는 학습 프레임워크입니다. 이 모델은 가역적 궤적 트리 구조와 이중 채널 최적화 메커니즘을 통해 앞서 언급한 문제들을 해결합니다.

1. 메모리 제어 프레임워크

에이전트는 활성 실행 경로( $P_t$ )와 압축된 작업 메모리( $m_t$ )를 가진 가역적 궤적 트리( $T_t$ ) 상에서 작동합니다.

명시적 행동: 에이전트는 실행 행동(추론, 도구 사용, 답변)과 제어 행동 중에서 선택합니다.
- <reflect>: 검증된 사실을 요약하고, 누락된 증거를 식와하며, 분기별 리스크를 평가하여 현재 상태를 진단합니다. 이는 continue(계속) 또는 backtrack(되돌아가기)이라는 구조화된 결정을 출력합니다.
- <backtrack>: 현재 분기가 신뢰할 수 없다고 판단될 때 복구를 실행합니다. 오염된 접미사(suffix)를 제거하고, 검증된 접두사(prefix)를 복원하며, 향후 단계를 위한 간결한 "교정적 교훈"(예: 잘못된 가정이나 제약 조건)을 보존합니다.
상태 분리: 비활성 분기는 상태 오염을 방지하기 위해 활성 맥락에서 제외되지만, 오류 진단 및 성찰적 감독을 위해 트리에는 유지됩니다.

2. 이중 채널 최적화

국소적-전역적 불일치를 해결하기 위해, LoongReflect는 look-ahead, extragradient 스타일의 업데이트를 통해 조정되는 두 개의 상호 보완적인 학습 채널을 사용합니다.

Fast Channel (국소적 증류):
- 목표: 성찰 결정에 대해 밀도 있고 국소적으로 정보가 풍부한 감독을 제공합니다.
- 메커니즘: 동일한 정책을 사용하되 전역 궤적 트리와 최종 결과에 접근할 수 있는 특권적 **EMA 교사(Teacher)**가 **정답 마스킹된 구조화된 힌트(answer-masked structured hints)**를 생성합니다. 이 힌트는 최종 정답을 드러내지 않으면서 상태(검증된 증거, 리스크, 복귀 지점)를 진단합니다.
- 손실 함수: 학생 모델은 <reflect> 및 <backtrack> 토큰에 제한된 마스크 역-KL(reverse-KL) 목적 함수를 통해 학습하며, 이를 통해 로컬 제어 결정을 교사의 전역적 정보를 반영한 진단과 일치시킵니다.
Slow Channel (전역적 최적화):
- 목표: 국소적 제어 결정을 최종 과업 성공과 정렬합니다.
- 메커니즘: 완전한 궤적에 대해 **그룹 상대 정책 최적화(GRPO)**를 사용합니다. 이는 성찰 및 백트래킹 결정이 성공적인 최종 결과로 이어졌는지 평가합니다.
- 손실 함수: 최종 보상으로부터 도출된 그룹 상대적 이점(group-relative advantages)을 바탕으로 정책을 최적화하여, 증류된 성찰 행동이 전반적인 과업 성공에 기여하도록 보장합니다.
Look-Ahead 조정:
- Fast 채널은 국소적 증류를 바탕으로 업데이트 방향( $g_f$ )을 제안합니다. Slow 채널은 이 방향을 전역적 결과와 대조하여 교정 방향( $g_s$ )을 도출합니다.
- 만약 $g_f$ 와 $g_s$ 가 충돌한다면(즉, 국소적 개선이 전역적 성능을 저해하는 경우), $g_f$ 의 충돌하는 성분을 투영(project out)하여 제거합니다. 최종 업데이트는 교정된 Fast 방향과 Slow 방향을 결합하여, 국소적 학습이 전역적 목표에서 벗어나지 않도록 보장합니다.

주요 기여

성찰을 메모리 제어로 정식화: 본 논문은 성찰을 자유 형식의 텍스트가 아니라, 가역적 궤적 트리 상의 명시적이고 구조화된 제어 행동(<reflect>, <backtrack>)으로 모델링할 것을 제안하며, 이를 통해 체계적인 오류 복구를 가능하게 합니다.
이중 채널 학습 프레임워크: 정답 마스킹된 교사 증류(밀도 높고 전역적 정보가 반영된 국소적 감독을 위해)와 결과 기반 GRPO(궤적 수준의 정렬을 위해)를 결합하고, 이를 look-ahead 메커니즘을 통해 조정하는 새로운 학습 패러다임을 도입했습니다.
실험적 검증: 이 프레임워크는 여러 벤치마크에서 결과 기반 RL 및 자기 증류(self-distillation) 베이스라인보다 일관된 성능 향상을 입증했습니다.

실험 결과

Qwen2.5-3B 및 Qwen2.5-7B 모델을 대상으로 7개의 검색 증강 생성(RAG) 벤치마크와 수학적 추론 과업에서 실험을 수행했습니다.

성능: LoongReflect는 모든 벤치마크에서 가장 높은 F1 점수를 기록했습니다.
- Qwen2.5-3B에서 평균 F1 **46.15%**를 달성하여, 가장 강력한 베이스라인인 AgenticRAG-R1보다 12.60 포인트 앞섰습니다.
- Qwen2.5-7B에서는 **49.21%**를 달성하여, 베이스라인보다 12.61 포인트 초과 달성했습니다.
일반화: 모델은 out-of-domain 설정(예: Bamboogle, MuSiQue, Natural Questions)에서도 상당한 이득을 보여, 학습된 성찰 정책이 단순히 인도메인(in-domain) 과업에 과적합된 것이 아니라 일반화되었음을 나타냈습니다.
수학적 추론으로의 전이: MATH 및 GSM8K(비-검색 과업)에 적용했을 때, LoongReflect는 AgenticRAG-R1과 RLSD 모두보다 우수한 성능을 보였으며, 이는 학습된 진단 및 복구 행동이 외부 검색 없이도 다단계 추론에 유익함을 시사합니다.
절제 연구(Ablation Studies):
- <reflect> 또는 <backtrack>을 제거하면 성능이 크게 하락(약 13~15 F1 포인트)하여, 진단과 복구 메커니즘 모두의 필요성을 확인했습니다.
- Fast 채널, Slow 채널, 또는 Look-Ahead 조정을 제거할 경우 일관된 성능 저하가 발생하여, 밀도 높은 국소적 감독과 전역적 결과 정렬의 상호 보완적 특성을 검증했습니다.

의의 및 주장

본 논문은 LoongReflect가 성찰 결정의 국소적 특성과 그 효용의 전역적 특성 사이의 근본적인 불일치를 해결한다고 주장합니다. 성찰을 구조화된 메모리 제어 정책으로 취급하고 이중 채널 최적화 프레임워크를 활용함으로써, 이 방법은 다음과 같은 능력을 갖춘 에이전트를 성공적으로 학습시킵니다:

국소적으로 상태 오염과 누락된 증거를 진단합니다.
백트래킹을 통해 검증된 상태로 복구합니다.
이러한 국소적 제어 결정을 장기 호환 과업 성공과 정렬합니다.

저자들은 이 접근 방식이 단순한 결과 기반 RL이나 국소적 검증을 넘어, 명시적인 상태 관리와 오류 수정을 수행할 수 있는 시스템으로 나아감으로써 장기 호흡 에이전트를 훈련하기 위한 견고한 솔루션을 제공한다고 단언합니다. 결과는 구조화된 성찰이 전역적 정보가 반영된 증류와 결과 정렬을 통해 적절히 감독될 때, 복잡한 다단계 환경에서 신뢰할 수 있는 에이전트 행동을 위한 핵심 요소임을 보여줍니다.