🤖 AI

Grounded Iterative Language Planning: How Parameterized World Models Reduce Hallucination Propagation in LLM Agents

이 논문은 소규모 파라미터화된 월드 모델과 LLM 에이전트를 결합하여 환각된 상태 변화를 탐지하고 수정함으로써, 그래프 구조 벤치마크에서 환각률을 크게 낮추고 계획 성공도를 높이는 하이브리드 프레임워크인 Grounded Iterative Language Planning (GILP)을 소개한다.

원저자: Xinyuan Song, Zekun Cai

게시일 2026-06-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xinyuan Song, Zekun Cai

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 복잡한 퍼즐을 풀고 있다고 상상해 보세요. 예를 들어, 엄청난 양의 이삿짐을 정리하거나 여러 단계로 이루어진 요리 레시피를 계획하는 상황입니다. 당신에게는 매우 똑똑하고 창의적인 조수(LLM 에이전트)가 있습니다. 이 조수는 당신의 목표를 이해하고 다음에 무엇을 해야 할지 그 '이야기'를 파악하는 데 탁월합니다. 하지만 이 조수에게는 나쁜 습나이 하나가 있습니다. 바로 가끔 자신의 상상 속에 빠져버린다는 것입니다. 실제로는 가스레인지가 차가운 상태인데도 "가스레인지가 이미 켜져 있다"라고 자신 있게 말하거나, 상자가 아직 열려 있는데도 "상자가 포장되었다"라고 말하곤 합니다.

AI 세계에서 이것을 **환각(Hallucination)**이라고 부릅니다. 문제는 조수가 자신의 이야기 속에서 작은 실수 하나를 저지르면, 그 거짓말 위에 나머지 계획을 계속 쌓아 올린다는 점입니다. 열 번째 단계에 이르면, 전체 계획은 잘못된 토대 위에 세워진 카드 집처럼 되어 버립니다.

이 논문은 이를 해결하기 위해 GILP(Grounded Iterative Language Planning)라는 새로운 방법을 소개합니다. GILP를 당신의 창의적인 조수와 결합된, 아주 작고 집중력이 뛰어난 '팩트 체크 전문가'라고 생각해보세요.

작동 방식은 다음과 같습니다.

1. 두 명의 캐릭터

논문은 두 가지 유형의 "세계 모델(world models, 다음에 어떤 일이 일어날지 예측하는 시스템)"을 비교합니다.

창의적인 스토리텔러 (에이전트 기반 모델): 이것은 거대한 AI(예: GPT-4)입니다. 추론과 복잡한 지시 사항 이해에는 뛰어나지만, 사실을 지어내는 경향이 있습니다. 그 오류는 단순히 "틀린 이야기"이기 때문에 측정하기 어렵습니다.
팩트 체크 전문가 (파라미터화된 모델): 이것은 학습된 작은 컴퓨터 프로그램입니다. 창의성은 부족하고 스스로 영화 한 편을 계획할 수는 없지만, 수학과 특정 세부 사항을 확인하는 데는 매우 뛰어납니다. 이 모델은 "만약 행동 A를 한다면, 가스레인지는 반드시 꺼진 상태를 유지한다"라고 말할 수 있습니다. 이 모델의 오류는 딱딱한 숫자로 다루어지기 때문에 측정하기 쉽습니다.

2. 문제점: "도미노 효과"

논문은 창의적인 스토리텔러가 실수(예: "작업 3이 완료됨"이라고 했으나 실제로는 완료되지 않음)를 저질렀을 때, 그것이 거기서 끝나지 않는다는 점을 보여줍니다. 모델은 그 거짓말을 바탕으로 다음 단계를 계획합니다.

비유: 전화기 게임(말 전달 게임)을 상상해 보세요. 만약 첫 번째 사람이 잘못된 메시지를 속삭이면, 나머지 사람들도 그 잘못된 메시지를 반복하게 되어 상황은 점점 악화됩니다. AI에서도 하나의 작은 환각은 일련의 유효하지 않은 행동들을 일으키는 연쇄 반응을 일으켜 결국 완전한 실패로 이어집니다.

3. 해결책: GILP ("현실 점검" 루프)

GILP는 두 세계의 장점을 결합합니다. 무거운 작업은 창의적인 스토리텔러에게 맡기되, 팩트 체크 전문가를 추가하여 정직함을 유지하게 합니다. 단계별 과정은 다음과 같습니다.

1단계: 뼈대 만들기 (팩트 체크 전문가의 추측): 스토리텔러가 계획을 쓰기 전, 작은 팩트 체크 전문가가 상황을 빠르게 살펴보고 무엇이 일어나야 하는지 예측합니다. 이는 유효한 움직임과 예상되는 변화의 "뼈대"를 만듭니다.
2단계: 초안 작성 (스토리텔러의 계획): 거대한 AI가 다음에 어떤 일이 일어날 것이라고 생각하는 내용을 포함하여 계획을 작성합니다.
3단계: 일관성 게이트 (비교): 이 부분이 마법 같은 구간입니다. 시스템은 스토리텔러의 초안과 팩트 체크 전문가의 뼈대를 비교합니다.
- 둘이 일치하면, 좋습니다! 계획을 진행합니다.
- 만약 서로 다르다면(예: 스토리텔러는 "작업 3이 완료됨"이라고 했으나 팩트 체크 전문가는 "작업 3이 아직 대기 중임"이라고 하는 경우), 시스템은 **빨간 불(Red Light)**을 켭니다.
4단계: 수정: 시스템은 스토리텔러에게 짧은 메모를 보냅니다: "이봐요, 당신은 작업 3이 완료되었다고 했지만, 사실은 그렇지 않습니다. 계획을 수정해 주세요." 그러면 스토리텔러는 현실에 맞춰 계획을 다시 작성합니다.

4. 결과: 왜 중요한가

논문은 네 가지 다른 유형의 복잡한 계획 퍼즐을 통해 테스트를 진행했습니다. 결과는 다음과 같습니다.

거짓말 감소: "환각 상태 비율(Hallucinated-State Rate, AI가 세상의 상태에 대해 거짓말을 하는 빈도)"이 극적으로 감소했습니다. 실제 테스트에서 이는 17.6%에서 3.5%로 떨어졌습니다. 이는 거짓말이 80% 감소했음을 의미합니다.
더 높은 성공률: AI가 거짓말 위에 계획을 세우지 않게 됨으로써, 실제로 작업을 더 자주 완수했습니다. 성공률은 66.8%에서 83.8%로 뛰었습니다.
장기적 안정성: 가장 큰 성과는 길고 어려운 작업에서 나타났습니다. GILP가 없으면 AI의 성공률은 작업이 길어질수록 급격히 떨어졌습니다(47%까지 하락). 하지만 GILP를 사용하면 강력하게 유지되어, 긴 작업에서도 **75.8%**의 성공률에 도달했습니다.
저렴하고 효율적임: 팩트 체크 전문가를 추가하면 느려지거나 비용이 많이 들 것이라고 생각할 수 있습니다. 논문은 팩트 체크 전문가가 작고 빠르며, 수정이 꼭 필요한 경우에만 작동하기 때문에 비용이 약 22% 정도만 추가될 뿐임을 보여줍니다(몇 번의 추가 API 호출 수준).

핵심 요약

이 논문은 창의적인 스토리텔러를 고치기 위해 반드시 초지능적인 팩트 체크 전문가가 필요한 것은 아니라고 주장합니다. 대신, 스토리텔러가 너무 창의적으로 변할 때 "아니오, 그것은 사실이 아닙니다"라고 말할 수 있는 작고 신뢰할 수 있는 전문가만 있으면 됩니다.

강력하고 유연한 AI를 작고 측정 가능한 "진실 탐지기"와 결합함으로써, GILP는 AI가 자신의 상상 속에 길을 잃지 않도록 하여, 그들의 계획이 환각이 아닌 현실에 기반하도록 보장합니다.

기술 요약: 근거 기반 반복적 언어 계획법 (Grounded Iterative Language Planning, GILP)

1. 문제 정의

본 논문은 LLM 에이전트가 수행하는 장기 계획(long-horizon planning) 작업에서 발생하는 환각 전파(hallucination propagation) 문제를 다룹다. 표준적인 에이전트 기반 계획(예: ReAct, Chain-of-Thought)에서 LLM은 플래너(planner)인 동시에 에이전트 기반 세계 모델(agent-based world model) 역할을 수행한다. LLM은 행동을 생성함과 동시에 자연어나 구조화된 JSON 형식으로 다음 상태(즉, "델타(delta)")를 예측한다.

핵 핵심 문제는 이러한 상태 예측의 오류가 **의미론적 환각(semantic hallucinations)**이라는 점이다(예: 작업이 완료되지 않았음에도 완료되었다고 주장하거나, 의존성을 무시하는 경우). 매개변수화된 모델(parameterized models)과 달리, 이러한 오류는 표준 회귀 손실(예: MSE)로 쉽게 정량화할 수 없다. 일단 환각된 상태 원자(state atom)가 컨텍스트 윈도우에 진입하면, 이는 후속 단계로 전파되어 일련의 잘못된 행동과 작업 실패를 초래한다. 논문은 에이전트 기반 모델이 의미론적 추론에는 뛰어나지만, 장기적인 관점(long horizons)에서 오류율이 심각하게 누적된다는 점을 지적한다(실험 결과 10단계 시점에서 단계당 오류 확률이 0.393에 도달함).

반대로, 매개변수화된 세계 모델(학습된 전이 예측기)은 측정 가능한 지도 학습 기반의 오류 지표(NodeMSE, delta 정확도 등)를 제공하지만, 복잡하고 새로운 목표에 대해 추론할 수 있는 의미론적 유연성이 부족하여 단독 성공률은 낮은 경향이 있다.

2. 방법론: 근거 기반 반복적 언어 계획법 (GILP)

GILP는 API 기반 LLM 에이전트의 의미론적 추론 능력과 소규모로 학습된 매개변수 기반 백본(backbone)의 측정 가능한 전이 신호를 결다는 결합하도록 설계된 하이브리드 아키텍처이다. 이 시스템은 네 가지 뚜렷한 단계로 구성된 반복 루프로 작동한다.

1단계: 매개변수화된 스켈레톤 스코어링 (Parameterized Skeleton Scoring)

작게 학습된 신경망("백본", 일반적으로 GNN 또는 MLP)이 현재 상태 $G_t$ 와 후보 행동 $A_t$ 를 입력받아 다음을 예측한다:

행동 유효성 ( $p_{valid}$ )
상태 델타 ( $\hat{\Delta}G$ )
리스크 ( $\hat{\rho}$ )
가치 ( $\hat{U}$ )
완료 확률 ( $\hat{p}_{done}$ )

백본은 컨텍스트 윈도우 오버헤드를 줄이기 위해 가치와 리스크를 기준으로 후보 행동 집합을 "스켈레톤(skeleton)"(상위- $k$ 행동)으로 압축한다.

2단계: LLM 초안 작성 (LLM Draft)

LLM 에이전트는 직렬화된 상태, 목표, 그리고 1단계에서 생성된 스켈레톤을 전달받는다. 에이전트는 행동과 상상된 다음 상태 델타 ( $\tilde{\Delta}_t$ )를 구조화된 JSON 형태로 초안을 작성한다. 이 단계에서는 LLM의 추론 능력을 활용한다.

3단계: 일관성 게이트 및 교정 재프롬프팅 (Consistency Gate and Corrective Re-prompting)

이는 환각을 줄이기 위한 핵심 메커니즘이다. 시스템은 변경된 노드의 집합에 대한 **자카드 유사도(Jaccard similarity)**를 사용하여 LLM이 상상한 델타( $\tilde{\Delta}_t$ )와 백본이 예측한 델타( $\hat{\Delta}G$ )를 비교한다.

높은 일관성 ( $\ge 0.70$ ): 행동이 수용된다.
중간 일관성 ( $0.30 \le cons < 0.70$ ): 행동은 수용되나 순위에서 페널티를 받는다.
낮은 일관성 ( $< 0.30$ ): **교정 재프롬프트(corrective re-prompt)**가 트리거된다. 시스템은 백본과 LLM이 서로 불일치하는 노드를 명시적으로 나열하여(예: "노드 X: 백본은 '대기 중'으로 예측하나, 당신은 '완료'로 상상했습니다") LLM에 메시지를 보낸다. LLM은 자신의 행동이나 상태 델타를 수정하도록 요청받는다. 비용 제한을 위해 이 교정은 단계당 최대 1회로 제한된다.

4단계: 리스크 게이트 (Risk Gate)

선택된 행동에 대한 백본의 예측 리스크가 임계값( $\rho_{th} = 0.65$ )을 초과하면, 에이전트에 경고를 보내고 행동 공간을 저위험 옵션으로 제한하는 세 번째 LLM 호출이 트리거된다. 이는 치명적인 실패(예: 근본 원인이 해결되지 않은 상태에서 작업을 재시도하는 것)를 방지하기 위함이다.

3. 주요 기여

비교 프레임워크: 본 논문은 장기 계획을 두 가지 세계 모델 계열 간의 트레이드오프(유연하지만 환각에 취약한 에이전트 기반 모델 vs 측정 가능하지만 의미론적으로 약한 매개변수 기반 모델)로 규정한다.
운영 가능한 환각 지표: 표준 손실 함수를 넘어 에이전트 기반 오류를 정의하는 구체적인 지표를 제시한다:
- 환각 상태율 (Hallucinated-State Rate, HSR): 상상된 상태 원자가 실제 정답(ground truth)과 일치하지 않는 비율.
- 전파 깊이 (Propagation Depth, PD): 환각된 원자에 의해 영향을 받는 후속 단계의 평균 수.
- 오류 폭발 기울기 (Error-Explosion Slope, EES): 시간이 지남에 따라 오류가 누적되는 속도.
GILP 아키텍처: 작은 규모의 학습된 백본을 단순히 문제를 해결하기 위해서가 아니라, 일관성 게이트를 통해 LLM의 상태 예측을 교정하기 위한 "근거 신호(grounding signal)"(유효성, 델타, 리스크)를 제공하는 하이브리드 시스템을 도입하였다.
실증적 검증: 네 가지 그래프 구조 벤치마크(TaskGraph, ToolChain, ResourceAlloc, RepairFlow)와 실제 API 호출(GPT-4o-mini)을 통한 광범위한 평가를 수행하였다.

4. 실험 결과

결과는 보정된 행동 시뮬레이터(GPT-4o-mini 실행 결과와 대조 검증됨) 및 직접적인 API 테스트를 통해 도출되었다.

성공률 (Success Rate, SR): GILP는 통합 벤치마크에서 0.838의 성공률을 달연하여, 가장 우수한 에이전트 전용 베이스라인(Agent-Replan, 0.668)과 매개변수 전용 플래너(0.565–0.625)를 크게 상회하였다.
환각 감소:
- 시뮬레이터: HSR이 Agent-Replan의 0.205에서 GILP의 0.079로 감소하였다.
- 실제 API (GPT-4o-mini): HSR이 0.176에서 0.035로 감소하였다 (80% 상대적 감소).
장기 계획 성능: 호라이즌 $H > 10$ 인 작업의 경우, 에이전트 전용 성공률은 0.471로 급락하는 반면, GILP는 0.758을 유지하였다.
비용 효율성: GILP는 (교정 및 리스크 게이트로 인해) 단계당 약 22%의 추가 LLM 호출이 발생하지만, 문제를 해결한 총 태스크당 필요한 토큰 수는 교정되지 않은 에이전트보다 적다(더 많은 에피소드를 해결하기 때문).
백본의 강도: 매개변수화된 백본이 강력한 플래너일 필요는 없다. 단독 성공률이 0.509인 약한 MLP조차도 근거 신호로 사용될 때 하이브리드 시스템의 성공률을 0.768까지 크게 향상시킨다.
멀티 API 강건성: GILP는 다양한 LLM API(GPT-4o-mini, Claude-3-Haiku, Gemini-1.5-Flash, Llama-3-8B) 간의 성능 차이를 평준화하며, 오픈 소스 모델이 근거를 가질 때 폐쇄형 모델과 경쟁할 수 있도록 HSR 편차를 줄여준다.

5. 의의 및 주장

본 논문의 주요 기여는 매개변수 모델의 우월성이 아니라, 그것이 가능하게 하는 **역할 분담(division of labor)**에 있다고 주장한다. 에이전트는 의미론적 추론과 유연성을 유지하고, 매별된 매개변수 백본은 상태 환각을 탐지하고 교정하기 위한 "저렴하고, 측정 가능하며, 감사 가능한(auditable)" 신호를 제공한다.

저자들은 다음을 강조한다:

환각은 전파의 문제이다: 단 하나의 잘못된 토큰이 전체 궤적을 무효화할 수 있으며, GILP는 이 연쇄 작용을 차단한다.
작은 규모의 학습으로 충분하다: 에이전트를 보조하기 위해 아주 작은 규모의 학습된 백본만으로도 충분하며, 이것이 에이전트의 추론 능력을 대체할 필요는 없다.
표적 교정은 효율적이다: 일관성 게이트는 필요할 때만(약 22%의 단계에서) 재프롬프트를 트리거하므로, 모든 단계를 검증하기 위해 거대 모델을 사용하는 높은 비용을 피할 수 있다.

결론적으로 GILP는 대규모 언어 모델의 추론 능력을 희생하지 않으면서도 자율 에이전트의 환각을 줄일 수 있는 실질적인 경로를 제시하며, 약간의 계산 비용 증가만으로 높은 성공률을 달성한다.