Localizing and Correcting Errors for LLM-based Planners

이 논문은 LLM 기반 계획자가 도메인 제약을 위반하는 오류를 해결하기 위해, 실패한 단계에 국한된 최소한의 입력 - 출력 예제를 주입하는 '국소화 인-컨텍스트 학습 (L-ICL)' 기법을 제안하여 기존 방법보다 훨씬 높은 유효한 계획 생성 성공률을 달성했다고 요약할 수 있습니다.

핵심

🧩 1. 문제: "똑똑한 학생이 벽을 뚫고 지나가요"

우리는 LLM 이 수학이나 코딩은 잘하지만, '기존의 규칙 (물리 법칙)'을 지키는 계획을 세우는 데는 약하다는 것을 발견했습니다.

• 상황: LLM 에게 "벽이 있는 미로에서 A 지점에서 B 지점으로 가라"고 시켰습니다.
• 실수: LLM 은 "벽을 통과해서 가자!"거나 "손에 물건을 들고 있는데 또 다른 물건을 집자!" 같은 불가능한 행동을 제안합니다.
• 원인: LLM 은 규칙을 '알고'는 있지만, 실제 계획을 세울 때 그 규칙을 일관되게 적용하지 못합니다. 마치 시험지를 풀 때 "벽은 통과할 수 없다"는 문제를 읽었음에도, 막상 풀다가 잊어버리고 벽을 통과하는 길을 그리는 것과 같습니다.

기존의 해결책인 "완전한 정답 예시 20,000 자를 보여줘" (RAG-ICL) 는 효과가 별로 없었습니다. 길이가 긴 정답 예시를 보여줘도, LLM 은 "아, 이렇게 가면 되네"는 전체 흐름만 보고, 왜 특정 단계에서 벽을 통과하면 안 되는지 그 '세부 이유'를 놓쳐버리기 때문입니다.

---

🛠️ 2. 해결책: L-ICL (국소적 문맥 학습)

저자들은 **"전체 정답을 외우게 하는 게 아니라, 틀린 순간마다 '단 한 줄'의 피드백을 주는 것"**이 훨씬 효과적이라고 제안합니다. 이를 **L-ICL (Localized In-Context Learning)**이라고 부릅니다.

🍳 요리 비유: "요리책 vs. 실수 교정"

• 기존 방법 (전체 예시): 요리사가 실수를 할 때마다, "이 요리를 처음부터 끝까지 완벽하게 만든 요리사 100 명의 레시피"를 보여줍니다.
  • 결과: 요리사는 "아, 다들 이렇게 만들었구나"라고 생각하지만, 내가 방금 소금을 너무 많이 넣은 이유는 정확히 모릅니다.
• 새로운 방법 (L-ICL): 요리사가 소금을 너무 많이 넣었을 때, "소금 1 큰술만 넣으세요"라고 그 순간, 그 행동에 딱 맞는 작은 메모를 붙여줍니다.
  • 결과: 요리사는 "아, 이 상황에서 소금은 1 큰술이구나!"라고 바로 깨닫고, 다음엔 그 규칙을 따릅니다.

이 방법은 틀린 첫 번째 단계를 찾아내어, 그 단계만 올바르게 수행하는 예시 (입력 -> 올바른 출력) 를 추가해 줍니다. 이걸 반복하면 LLM 은 점점 더 많은 '틀린 순간의 교정 메모'를 학습하게 됩니다.

---

📊 3. 놀라운 결과: 적은 정보로 큰 효과

이 방법은 놀라울 정도로 효율적입니다.

• 비교: 20,000 자 분량의 긴 정답 예시 (기존 방법) 를 주는 것보다, **2,000 자 분량의 짧은 '틀린 부분 교정 메모' (L-ICL)**를 주는 것이 훨씬 더 좋은 결과를 냅니다.
• 성공률: 8x8 크기의 간단한 미로에서, 아무것도 가르치지 않았을 때 성공률이 **0%**였는데, L-ICL 로 60 개의 작은 교정 예시만 학습시켰을 때 성공률이 **89%**까지 치솟았습니다.

---

🎓 4. 핵심 통찰: "단위 테스트"의 힘

저자들은 이 방법을 소프트웨어 공학의 **'단위 테스트 (Unit Test)'**에 비유합니다.

• 전체 테스트 (기존 방법): 프로그램이 끝까지 잘 돌아가는지 확인하는 것. (결과 위주)
• 단위 테스트 (L-ICL): 프로그램의 각 작은 부품 (함수) 이 제 역할을 하는지 하나하나 확인하는 것. (과정 위주)

LLM 이 계획을 세울 때, 전체가 잘 돌아가는 것보다 각 단계 (벽을 통과하지 않기, 물건을 들기 등) 가 규칙을 지키는지 확인하는 것이 훨씬 중요합니다. L-ICL 은 LLM 의 각 '행동 단계'를 단단하게 (Hardening) 만들어주는 역할을 합니다.

💡 요약

1. 문제: LLM 은 규칙을 알고 있으면서도, 계획을 세울 때 규칙을 어깁니다 (벽 통과 등).
2. 해결: 긴 정답 예시 대신, 실수한 순간마다 "이건 안 돼, 저렇게 해"라는 짧은 교정 예시를 계속 추가합니다.
3. 효과: 아주 적은 양의 정보 (60 개 예시) 만으로도 LLM 이 규칙을 철저히 지키게 되어, 미로 찾기나 퍼즐 풀기 성공률이 비약적으로 상승합니다.
4. 비유: "전체 요리 레시피를 통째로 외우게 하는 것"보다, "실수할 때마다 '소금 1 큰술만 넣으세요'라고 메모해 주는 것"이 더 현명합니다.

이 연구는 LLM 이 단순히 "지식"을 많이 아는 것을 넘어, 실제 행동할 때 그 지식을 올바르게 적용하는 법을 가르치는 새로운 길을 제시합니다.

기술 요약

논문 요약: LLM 기반 플래너의 오류 국소화 및 수정 (Localizing and Correcting Errors for LLM-based Planners)

이 논문은 대규모 언어 모델 (LLM) 이 수학과 코딩 분야에서는 뛰어난 추론 능력을 보이지만, 기호적 고전 계획 (Symbolic Classical Planning) 작업에서는 도메인 제약 조건을 자주 위반한다는 문제를 해결하기 위해 제안된 국소화된 컨텍스트 학습 (Localized In-Context Learning, L-ICL) 방법을 다룹니다.

1. 문제 정의 (Problem)

LLM 은 복잡한 추론이 필요한 계획 작업 (예: 미로 탐색, 블록 쌓기, 소코반 등) 에서 종종 실패합니다. 기존 연구와 저자들의 분석에 따르면, LLM 이 생성한 계획의 주요 실패 원인은 도메인 제약 조건 위반입니다.

• 구체적 예시: 미로에서 벽을 통과하거나, 로봇 그리퍼가 이미 물건을 들고 있을 때 또 다른 물건을 들려는 등, 명시된 규칙을 무시하는 행동을 합니다.
• 기존 방법의 한계:
  • Zero-Shot: 도메인 정보를 제공해도 모델이 이를 일관되게 적용하지 못함.
  • 전체 궤적 기반 ICL (RAG-ICL): 성공적인 전체 계획 궤적을 예시로 제공하지만, 이는 "왜" 개별 단계가 유효한지에 대한 명시적 설명이 부족하여 제약 조건 추론에 실패함 (20,000 자의 긴 예시조차 낮은 성공률을 보임).
  • 자기 수정 (Self-Refine) 및 ReAct: 테스트 시간 (Inference time) 에 외부 검증기를 사용하거나 자기 비판을 시도하지만, 이는 계산 비용이 크거나 신뢰성이 낮음.

2. 제안 방법: L-ICL (Methodology)

저자들은 **국소화된 컨텍스트 학습 (L-ICL)**을 제안합니다. 이는 실패한 특정 단계에 대한 **표적 수정 (Targeted Corrections)**을 반복적으로 프롬프트에 주입하는 방식입니다.

핵심 메커니즘

1. PTP(프로그램 추적 프롬프팅) 기반:
   • LLM 에게 실행 가능한 코드가 아닌, 서브루틴의 문서화 (시그니처, 목적 설명) 만 제공하는 "부분 지정 프로그램"을 프롬프트로 구성합니다.
   • LLM 은 이 문맥을 바탕으로 서브루틴 호출 (예: get_applicable_actions) 의 출력을 추론하여 계획 궤적 (Trace) 을 생성합니다.
2. 첫 번째 실패 식별 (First Failure Identification):
   • 생성된 궤적을 파싱하여 도메인 제약 조건 (예: 벽 충돌) 을 위반하는 가장 첫 번째 서브루틴 호출을 찾습니다.
   • 후속 오류들은 초기 오류의 연쇄 반응이므로, 근본 원인인 첫 번째 오류를 수정하는 것이 핵심입니다.
3. 국소적 수정 주입 (Localized Correction):
   • 오라클 (기호적 시뮬레이터 또는 검증기) 을 사용하여 해당 입력에 대한 **정답 (Ground Truth)**을 도출합니다.
   • 이를 Python 의 doctest 형식 (예: >>> get_applicable_actions((3,4)) -> ['move north']) 으로 변환하여 해당 서브루틴의 문서화에 예제로 추가합니다.
4. 반복적 누적 (Iterative Accumulation):
   • 훈련 데이터셋의 여러 문제에 대해 위 과정을 반복하며, 실패 기반 (Failure-driven) 으로 수집된 수정 예제들을 프롬프트에 누적합니다.
   • 중요: 오라클은 훈련 시간에만 필요하며, 추론 (테스트) 시간에는 외부 도구 없이 단일 프롬프트로 실행됩니다.

3. 주요 기여 (Key Contributions)

1. 제약 위반의 정량화: PTP 를 활용하여 다양한 계획 도메인에서 LLM 이 생성한 계획의 제약 위반률을 정밀하게 측정하고, 이것이 주요 실패 모드임을 규명했습니다.
2. L-ICL 방법론 제안: 전체 궤적 대신 국소적이고 실패 기반의 수정 예제를 사용하여 계획의 유효성을 극적으로 향상시키는 방법을 제안했습니다. 이는 10 배 이상의 컨텍스트를 사용하는 검색 기반 ICL(RAG-ICL) 보다 효율적입니다.
3. 광범위한 검증: 그리드 월드, 미로, 소코반 (Sokoban), 블록 월드 (BlocksWorld) 등 다양한 도메인과 DeepSeek, Claude 등 여러 LLM 아키텍처에서 일관된 성능 향상을 입증했습니다.
4. 벤치마크 및 코드 공개: 향후 LLM 계획 연구 촉진을 위해 벤치마크 스위트와 코드를 공개했습니다.

4. 실험 결과 (Results)

실험은 8x8 그리드 월드, 10x10 미로, 소코반, 블록 월드 등 다양한 환경에서 수행되었습니다.

• 성능 향상:
  • 8x8 그리드 월드: Zero-Shot 의 성공률 0% 에서 L-ICL(60 개 예시 학습) 은 **89%**의 성공률을 기록했습니다.
  • 유효성 (Validity): L-ICL 은 도메인 제약 조건을 준수하는 유효한 계획을 생성하는 비율을 기존 최선 기법 (59%) 대비 **89%**로 크게 향상시켰습니다.
  • 샘플 효율성: 60 개의 훈련 예시만으로도 최적 성능에 도달하며, RAG-ICL(20,000 자) 보다 훨씬 적은 컨텍스트 (약 2,000 자) 로 더 높은 성능을 냈습니다.
• 일반화 능력:
  • 아키텍처: DeepSeek V3, V3.1, Claude Haiku/Sonnet 등 다양한 모델에서 성능이 향상되었습니다.
  • OOD (Out-of-Distribution): 10x10 미로에서 학습된 수정 예제가 15x15 미로에서도 효과적으로 전이되어 성능을 크게 개선했습니다.
• 시각적 정보 불필요: ASCII 그리드 시각화 없이 텍스트 기반 상태 표현만으로도 L-ICL 은 높은 성능을 달성할 수 있었습니다 (초기 학습 속도는 느리지만 최대 성능은 유사).

5. 의의 및 한계 (Significance & Limitations)

의의

• 단위 테스트 (Unit Testing) 비유: L-ICL 은 소프트웨어 공학의 '단위 테스트'와 유사합니다. 전체 시스템 테스트 (전체 궤적 예시) 대신, 개별 모듈 (추론 단계) 의 신뢰성을 높이는 '단위 테스트'를 통해 LLM 의 지시 따르기 행동을 강화합니다.
• 암묵적 지식의 명시화: LLM 이 도메인 규칙을 일관되게 적용하지 못하는 문제를 해결하기 위해, 실패 지점에서 필요한 지식을 최소한의 예제로 명시화하여 프롬프트에 주입합니다.
• 실용성: 추론 시 외부 도구가 필요하지 않아 배포가 용이하며, 프롬프트 엔지니어링 부담을 줄여줍니다.

한계 및 향후 과제

• 전략적 추론 부족: L-ICL 은 제약 조건 준수 (유효성) 를 극적으로 개선하지만, **전략적 계획 (Goal-directed strategic reasoning)**에는 한계가 있습니다. 예를 들어, 소코반에서 '함정 상태 (Trap state)'로 빠지지 않는 전략적 판단은 여전히 어렵습니다 (유효 계획 46% vs 성공 계획 20%).
• 오라클 의존성: 훈련 과정에서 도메인 검증이 가능한 오라클이 필요합니다. 형식적 명세가 없는 개방형 자연어 작업으로의 확장은 추가 연구가 필요합니다.

결론적으로, 이 논문은 LLM 기반 플래너의 핵심 병목 현상인 '제약 조건 위반'을 국소적이고 효율적인 수정을 통해 해결함으로써, LLM 이 복잡한 계획 작업을 수행할 수 있는 견고한 기반을 마련했다는 점에서 중요한 의의를 가집니다.