💬 NLP

Adaptive Latent Agentic Reasoning

이 논문은 일상적인 단계에는 압축된 잠재 추론(latent reasoning)을 활용하고 복잡한 결정에는 명시적인 사고 사슬(chain-of-thought)을 남겨둠으로써, 작업 정확도를 유지하거나 향상시키면서도 토큰 생성을 크게 줄여 LLM 에이전트를 최적화하는 이중 모드 프레임워크인 적응형 잠재 에이전트 추론(Adaptive Latent Agentic Reasoning, ALAR)을 제안한다.

원저자: Dongwon Jung, Peng Shi, Yi Zhang, Junshan Zhang, Muhao Chen

게시일 2026-06-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dongwon Jung, Peng Shi, Yi Zhang, Junshan Zhang, Muhao Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 문제를 해결하기 위해 매우 똑똑하지만 말이 너무 많은 개인 비서를 고용한다고 상상해 보세요.

문제점: "생각이 너무 많은" 비서
현재 가장 진보된 AI 비서들(대규모 추론 모델이라고 불리는)은 모든 일을 하기 전에 반드시 길고 상세한 일기를 써야만 하는 비서와 같습니다.

시나리오: 당신이 "날씨가 어때?"라고 묻습니다.
현재의 AI: "좋아요, 생각을 해야겠어요. 먼저, 사용자가 날씨에 대해 묻고 있다는 점을 고려해야 합니다. 날씨는 변한다는 사실을 떠올려야 합니다. 날씨 도구를 확인해야 한다는 것을 기억해야 합니다. 이제 날씨 도구를 확인하기 위한 계획을 세우겠습니다..." (500단어 분량의 내적 독백을 작성합니다.)
문제점: 이는 매우 느리고 많은 디지털 공간(토큰)을 낭비합니다. 단순한 작업의 경우, 이런 길고 장황한 "생각을 밖으로 내뱉는 과정"은 불필요합니다. 하지만 어려운 작업의 경우, AI에게는 이러한 깊은 사고가 필요합니다. 현재의 문제는 이 AI들이 단순한 질문이든 복잡한 퍼즐이든 상관없이 동일하게 무겁고 장황한 사고 방식을 사용한다는 것입니다.

해결책: ALAR (적응형 잠재 에이전트 추론)
이 논문은 그 비서에게 **'침묵하는 사고(Silent Thinking)'**라는 새로운 초능력을 가르쳐주는 ALAR이라는 시스템을 소개합니다.

ALAR은 비서에게 두 가지 모드를 부여합니다:

"속삭임" 모드 (잠재 추론): 일상적인 작업(날씨를 확인하거나 문을 여는 것 등)을 위해, 비서는 자신의 머릿속에서 조용히 생각합니다. 아무것도 적지 않습니다. 그저 정보를 처리하고 행동할 뿐입니다. 이는 빠르고 공간을 매우 적게 사용합니다.
"말하기" 모드 (명시적 추론): 작업이 정말 어려울 때(복잡한 수학 문제를 풀거나 여러 단계의 여행 계획을 세울 때 등), 비서는 "말하기" 모드로 전환합니다. 논리를 정확히 맞추기 위해 상세한 일기를 글로 써 내려갑니다.

학습 방법: "행동"의 기술
AI에게 침묵하며 생각하도록 가르치는 것은 까다로운 일입니다. 왜냐하면 "침묵하는 생각"은 눈에 보이지 않기 때문에 채점할 수 없기 때문입니다.

논문의 방법 (행동 기반 자기 증류): 숙련된 요리사(교사)가 레시피의 모든 단계를 적어 놓는다고 상상해 보세요. 학생(AI)은 그 단계를 적지 않고 요리를 하라는 요청을 받습니다.
연구자들은 학생의 노트를 확인하는 대신, 오직 최종 요리의 맛이 제대로 난지만 확인합니다. 만약 학생이 교사와 똑같이 맛있는 음식을 만들어낸다면, 시스템은 학생의 침묵하는 사고가 올바르게 이루어졌다고 가정합니다.
오직 행동(최종 결과물)에 집중함으로써, AI는 "왜"를 적지 않고도 옳은 일을 수행하는 법을 배웁니다.

"스마트 스위치" (적응형 모드 선택)
시스템은 또한 언제 모드를 전환할지도 학습합니다.

훈련: AI는 정답을 빠르게 맞혔을 때 "침묵 모드"를 사용하면 보상을 받습니다. 하지만 어려운 문제에 "침묵 모드"를 사용했다가 실패하면 벌점을 받습니다.
결과: AI는 카멜레온처럼 변하는 법을 배웁니다. 쉬운 단계의 80~90%에서는 침묵하며 생각하여 엄청난 시간과 공간을 절약하지만, 벽에 부딪히면 자동으로 목소리를 높여 상세하게 생각합니다.

결과: 더 빠르고 더 똑똑하게
연구진은 두 가지 주요 작업에 대해 테스트를 진행했습니다: 검색(인터넷에서 답 찾기)과 도구 사용(소프트웨어 도구를 사용하여 작업 수행).

검색: AI는 동일하거나 더 나은 답변을 얻으면서도 43.6% 적은 단어(토큰)를 사용했습니다.
도구 사용: AI는 실제로 더 많은 정답을 맞히면서, 무려 84.6%나 적은 단어를 사용했습니다.

간단히 말하자면
이 논문은 우리가 AI 비서가 모든 단계마다 자신에게 "말을 걸" 필요는 없다고 주장합니다. 쉬운 일에는 침묵하며 생각하고 어려운 일에만 목소리를 높이도록 가르침으로써, 지능을 잃지 않으면서도 훨씬 더 빠르고 효율적으로 만들 수 있습니다. 이는 마치 당신의 비서에게 이렇게 말하는 것과 같습니다. "작은 일 하나하나에 소설을 쓰지 말고 그냥 해. 하지만 큰 문제가 생기면, 시간을 갖고 차근차근 적어줘."

기술 요약: 적응형 잠재 에이전트 추론 (Adaptive Latent Agentic Reasoning, ALAR)

1. 문제 정의

대규모 추론 모델(LRM)은 확장된 사고 사슬(Chain-of-Thought, CoT) 추론이 복잡한 작업에서 성능을 크게 향상시킨다는 것을 입증했습니다. 그러나 이를 검색, 도구 사용과 같은 다회차 상호작용 환경에서 작동하는 LLM 에이전트에 적용할 경우, 이러한 동작은 상당한 비효효율성을 초래합니다. 현재의 에이전트들은 매 결정 단계마다 장황한 텍스트 추론을 생성하며, 실제 턴의 복잡도와 관계없이 추론 노력을 균등하게 할당하는 경향이 있습니다.

이러한 "과잉 사고(overthinking)"는 다음과 같은 문제를 일으킵니다:

토큰 비효율성: 추론 토큰이 여러 턴에 걸쳐 컨텍스트 윈도우에 누적되어 지연 시간(latency)과 비용을 증가시킵니다.
구조적 불일치: 많은 에이전트 턴은 외부 관측치를 바탕으로 다음 행동을 선택하기 위한 가벼운 내부 연산만을 필요로 함에도 불구하고, 여전히 완전하고 명시적인 CoT 흔적을 생성합니다.
기존 솔루션의 한계: 프루닝(pruning)이나 길이 제한과 같은 기존의 토큰 압축 방식은 명시적인 CoT 인터페이스 내에서 작동합니다. 이들은 텍스트를 줄여줄 뿐, 루틴한 의사결정을 위해 발생하는 텍스트 추론 토큰 자체를 제거하지는 못하므로, 텍s트 생성의 구조적 비효율성을 해결하지 못합니다.

2. 방법론: 적응형 잠재 에이전트 추론 (ALAR)

저자들은 에이전트가 루틴한 턴에서는 **압축된 잠재 추론(compact latent reasoning)**을 사용하고, 더 깊은 숙고가 필요한 경우에만 선택적으로 명시적 CoT로 격상할 수 있도록 하는 이중 모드 프레임워크인 ALAR를 제안합니다.

2.1 핵심 아키텍처

이중 모드 정책 (Dual-Mode Policy): 각 턴 $t$ $t$ 에서 에이전트는 정책으로부터 직접 모드 $m_t \in \{<LAT>, <THINK>\}$ $m_{t} \in {< L A T >, < T H I N K >}$ 를 샘플링합니다.
- 잠재 모드 ($$): 에이전트는 이산적인 토큰 대신 은닉 상태 공간(hidden-state space)에서 고정된 길이의 $K$ 개 연속적 사고( $z_t$ ) 시퀀스를 생성합니다. 이 사고들은 에이전트가 행동을 선택하기 전 투영 레이어 $f_\phi$ 를 통해 자기회귀적으로 처리됩니다.
- 명시적 모드 ($$): 에이전트는 표준적인 가변 길이 텍스트 CoT( $c_t$ )를 생성합니다.
행동 지향적 추론 (Action-Oriented Reasoning): 단일 패스 추론이 최종 답변으로 이어지는 것과 달리, ALAR의 잠재 추론은 환경과 결합된 궤적 내에서 중간 행동 선택을 지원하도록 설계되었습니다.

2.2 훈련 파이프로 (Training Pipeline)

이 프레임워크는 2단계 최적화 절차를 채택합니다.

1단계: 행동 앵커링 자기 증류 (Action-Anchored Self-Distillation, AASD)

연속적인 은닉 상태는 가변 길이의 텍스트 CoT에 의해 직접 감독될 수 없기 때문에 잠재 추론을 훈련하는 것은 어렵습니다. AASD는 다음과 같은 방식으로 이를 해결합니다:

교사-학생 설정 (Teacher-Student Setup): 기본 LRM이 명시적 모드에서는 교사 역할을, 잠재 모드에서는 학생 역할을 수행합니다.
행동 앵커링 (Action Anchoring): 잠재 사고를 텍스트 CoT와 정렬하는 대신, 학생 모델은 교사의 후속 행동을 재현하도록 훈련됩니다. 학생의 궤적에서 교사의 CoT 구간은 잠재 블록으로 대체됩니다.
목적 함수: 손실 함수는 상태( $s_t$ )와 잠재 블록( $z_t$ )이 주어졌을 때 교사의 앵커 행동( $a_t$ )에 대한 로그 가능도(log-likelihood)를 최대화합니다. 이를 통해 투영기 $f_\phi$ 는 교사의 텍스트 구조에 구애받지 않고 올바른 행동을 생성하기 위한 최적의 궤적을 은닉 상태 공간에서 발견할 수 있습니다.

2단계: 적응형 추론 GRPO (Adaptive Reasoning GRPO, AR-GRPO)

잠재 추론과 명시적 추론 중 언제 무엇을 사용할지 학습하기 위해 저자들은 강화 학습 방법을 도입합니다.

모드 웜업 (Mode Warmup): 짧은 지도 미세 조정(SFT)을 통해 정책을 초기화하여 두 모드를 모두 탐색하게 합니다. 이는 AASD가 초기에는 잠재 추론 쪽으로 편향될 수 있기 때문입니다.
비대칭 보상 (Asymmetric Reward): 궤적 보상 $R(\tau)$ $R (τ)$ 는 작업 성공이 유지될 때만 잠재 추론을 권장합니다:
- 궤적이 올바른 경우 ($EM=1 $), 보상은 잠재 턴의 비율($ f(\tau)$)에 따라 증가합니다.
- 궤적이 틀린 경우, 보상은 잠재 추론의 과도한 사용에 대해 페널티를 부여합니다.
다양성 및 길이 제어: 다양성 보너스는 훈련 초기 단계에서 다양한 모드 혼합을 탐색하도록 장려하며, 길이 스케일링 인자는 지나치게 긴 명시적 추론 세그먼트에 페널티를 부여합니다.

3. 주요 기여

ALAR 프레임워크: 잠재 추론과 적응형 모드 선택을 결리한 이중 모드 추론 아키텍처로, 에이전트가 복잡한 단계에서는 명시적 숙고를 유지하면서 불필요한 텍스트 추론을 건너뛸 수 있게 합니다.
행동 앵커링 자기 증류 (AASD): 환경을 향한 행동을 감독 앵커로 사용하여, 직접적인 잠재 상태 감독 없이 잠재 에이전트 추론을 훈련하는 새로운 자기 증류 기술입니다.
AR-GRPO: 잠재 추론의 효율성이 작업 성공을 저해하지 않을 때 이를 보상함으로써, 턴별 모드 선택을 최적화하는 강화 학습 방법입니다.

4. 실험 결과

저자들은 ALAR를 에이전트 검색(6개의 오픈 도메인 QA 벤치마크) 및 도구 사용(BFCL 벤치마크) 도메인에서 O1-Pruner, ThinkPrune, ShorterBetter과 같은 베이스라인과 비교하여 평가했습니다.

검색 도메인 (Search-R1 3B/7B):
- ALAR는 정확도(Exact Match, EM)를 대등하거나 약간 개선하면서 생성 토큰을 22.1%에서 43.6%까지 줄였습니다 (2단계 기준).
- 1단계(순수 잠재 모드)는 경쟁력 있는 정확도를 유지하면서 최대 **52.5%**의 토큰 감소를 달로했습니다.
- 텍스트 기반 압축 베이스라인들은 기본 모델이 이미 비교적 압축된 CoT를 생성했기 때문에 제한적인 이득(4~10% 감소)만을 보였습니다.
도구 사용 도메인 (Qwen3-4K-Thinking):
- ALAR는 평균 정확도를 86.1%에서 **89.2%**로 높이는 동시에 토큰을 84.6% 줄이며 탁월한 성능을 보였습니다.
- 이는 베이스 모델이 지나치게 장황했음을 보여주며, ALAR가 불필요한 텍스트를 잠재 연산으로 성공적으로 대체했음을 입증합니다.
적응형 동작 분석:
- 작업 난이도: 모델은 어려운 벤치마크(예: Bamboogle, 2Wiki)에서 명시적 추론을 더 자주 사용했고, 쉬운 데이터셋(예: NQ, TriviaQA)에서는 잠재 추론에 크게 의존했습니다.
- 턴 위치: 명시적 추론은 첫 번째 턴(초기 계획)에 집중되었으며, 이후의 턴들은 주로 잠재 모드로 진행되었습니다.

5. 의의 및 주장

본 논문은 ALAR가 단순히 텍스트를 압축하는 것을 넘어 추론의 기질(substrate)을 근본적으로 바꿈으로써 LLM 에이전트의 정확도-효율성 트레이드오프를 개선한다고 주장합니다.

추론의 이질성: 결과는 에이전트의 추론 요구가 이질적이라는 가설을 뒷받침합니다. 즉, 루틴한 턴은 행동 선택을 위한 충분한 내부 연산(잠재)만을 필요로 하는 반면, 특정 단계(예: 초기 계획 또는 복잡한 분해)에서만 명시적 CoT가 필요합니다.
압축 그 이상: 추론 인터페이스 자체를 교체함으로써, ALAR는 텍스트 흔적을 단순히 줄이는 방식으로는 도달할 수 없는 토큰 감소량(도구 사용에서 최대 84.6%)을 달 achieves 합니다.
실용성: 이 접근법은 잠재 모드와 명시적 모드 사이에서 추론 자원을 동적으로 할당할 수 있다면, 성능 저하 없이 LLM 에이전트를 훨씬 더 효율적으로 만들 수 있음을 보여줍니다.

6. 한계점

저자들은 몇 가지 한계를 인정합니다:

범위: 본 연구는 외부 환경(검색, 도구)이 포함된 에이전트 작업에 집중하며, 추가적인 추론 토큰이 최종 답변 정확도와 직접적인 상관관계를 갖는 수학이나 코딩 같은 단일 패스 도메인은 평가하지 않았습니다.
교사 편향 (Teacher Bias): 잠재 정책은 AASD에서 사용된 성공적인 교사 궤적의 범위와 편향을 상속받습니다.
해석 가능성: 잠재 추론은 중간 단계의 투명성을 감소시키며, 이는 행동에 대한 근거 제시가 필요한 고위험 상황에서 바람직하지 않을 수 있습니다.
고정된 입도 (Fixed Granularity): 현재 구현은 고정된 잠재 블록 길이( $K=4$ )와 이산적인 모드 선택을 사용하며, 이는 향후 연구를 위한 더 세밀한 제어의 여지를 남깁니다.