기술 요약: 탐색, 실패, 그리고 회복: 교정 인지 추론을 위한 훈련 프레임워크

문제 정의

표준적인 생각의 사슬(Chain-of-Thought, CoT) 지도 학습은 일반적으로 정제되고 성공적인 추론 경로만을 모델에게 학습시키며, 이 과정에서 탐색, 실패, 그리고 회복의 과정을 은폐합니다. 많은 복잡한 추론 작업은 자연스럽게 선형적이지 않습니다. 해결사는 타당해 보이는 분기를 추구하다가 지연된 실패를 발견하고, 이전의 결정 지점으로 돌아와 대안을 시도해야 할 수도 있습니다. 현재의 훈련 패러다임은 모델에게 언제 비생산적인 분기를 포기해야 하는지, 또는 실수를 어떻게 회복해야 하는지를 가르치지 못하는데, 이는 훈련 신호에 실패한 시도가 거의 포함되지 않기 때문입니다. 본 논문은 "성실한 학습자(Diligent Learner)" 공식화—검증이 생성보다 용이하며, 백트래킹(backtracking)이 학습 가능한 행동적 능력이라는 가설—와 현대의 상대적으로 작은 대규모 언어 모델(LLM)을 위한 실제 구현 사이의 간극을 다룹니다.

방법론: Pyligent 프레임워크

저자들은 Pyligent를 소개합니다. 이는 추론을 부분적인 솔루션 체인에 대한 검증된 탐색으로 나타내는 훈련 및 추론 프레임워크입니다. 이 프레임워크는 성공적인 지속과 실패한 분기를 모두 지도 학습용 예제로 변환함으로써 성실한 학습자 이론을 구체화합니다.

핵심 구성 요소

1. 솔버(Solver): 제한된 마크업 어휘를 사용하여 한 번에 하나씩 동작을 내뱉는 훈련 가능한 언어 모델입니다.
   • <node>: 중간 단계를 추가합니다.
   • <done>: 최종 답안을 제안합니다.
   • <backtrack>: 이유와 함께 이전 노드로 제어권을 반환합니다.
2. 탐색기(Explorer): 솔버가 지속(continuation)을 샘플링할 접두사(prefix)를 선택합니다. 프레임워크는 두 가지 전략을 사용합니다.
   • 선형(Linear): 예측 가능한 비용을 위해 제한된 수의 병렬 체인을 확장합니다.
   • 수지상(Dendritic): 넓게 시작하여 더 깊은 지속에 예산을 집중합니다.
3. 검증기(Validator): 현재 상태에 대해 제안된 동작을 검증하는 작업 특화형 체크 도구입니다. 이는 지속을 유효하거나 유효하지 않은 것으로 라벨링하며, 실패 상태(예: 막다른 길, 제약 조건 위반)를 식별합니다.
4. 체인 트리(ChainTree): 탐색 트리를 저장하며, 실패한 분기에 백트래킹 대상을 할당하고 트리 구조를 접두사-대응 동작 훈련 예제로 변환합니다.

훈련 파이프라인

훈련 과정은 세 단계로 구성됩니다.

1. SFT-A (교사 데이터셋): 솔버가 동작 형식을 학습하고 유효한 다음 단계를 제안할 확률을 확보하도록 골드(gold) 솔루션 체인에 대해 미세 조정(fine-tuning)됩니다.
2. 검증기 가이드 탐색(Validator-Guided Exploration): 솔버는 선택된 접두사로부터 작업 공간을 탐색합니다. 검증기는 유효한 지속과 실패한 분치를 모두 기록합니다.
3. SFT-B (탐색 데이터셋): 모델은 구축된 ChainTree 데이터를 바탕으로 미세 조정되며, 여기에는 다음이 포함됩니다.
   • 성공 쌍(Success pairs): 유효한 분기를 확장하도록 훈련합니다.
   • 실패 쌍(Failure pairs): 제약 조건이 위반되었을 때 <backtrack> 동작을 출력하도록 훈련합니다. 대상은 검증기에서 도출된 이유와 함께 특정 이전 노드 ID입니다.
   • 추적된 회복(Traced recovery, 선택 사항): 절단(truncation) 후 동일한 실수를 반복하는 것을 방지하기 위해, 백트래킹 후 합성된 <trace>가 주입됩니다. 이 트레이스는 버려진 분치와 검증기의 이유를 요약하여, 모델이 효과적으로 재개하는 방법을 가르칩니다.

프레임워크는 **역 커리큘럼(reverse curriculum)**을 활용하여, 골드 체인의 끝 근처(짧은 회복)에서 시작하여 루트(root) 방향으로 이동하며(긴 회복) 점진적으로 난이도를 높입니다.

주요 기여

• 성실한 학습자 이론의 구현: 본 논문은 행동적 조건(유효한 단계 생성 + 최대 회복 가능한 접두사로 백트래킹하는 법 학습)을 소규모 LLM을 위한 지도 학습 설정으로 변환하는 구체적인 훈련 파이프라인을 제공합니다.
• 명시적 실패 분치 지도: 표준 CoT와 달리, Pyligent는 실패한 분치를 명시적으로 훈련하여 이를 <backtrack> 동작을 위한 지도 학습 대상으로 변환합니다.
• 추적된 회복 메커니즘: <trace> 토큰의 도입은 백트래킹 후 모델이 압축된 실패 정보를 유지할 수 있게 하여, 회복 후의 더 나은 지속을 용이하게 합니다.
• 통제된 벤치마킹: 저자들은 지연된 실패 회복을 격리하기 위해 설계된 숨겨진 유향 그래프(Hidden Directed Graph) 작업을 도입했습니다. 이 작업에서 모델은 정적인 설명을 복사하는 것만으로는 해결할 수 없으며, 반드시 탐색과 회복에 의존해야 합니다.

실험 결과

프레임워크는 네 가지 도메인에서 평가되었습니다: 숨겨진 유향 그래프, 4×4 스도쿠, 추론 트레이스가 포함된 4×4 스도쿠, 그리고 블록스월드(Blocksworld).

1. 숨겨진 유향 그래프

이 작업은 지연된 실패로부터의 회복 능력을 격리하여 테스트합니다.

• 성능: Pyligent는 **76.5%**의 해결률을 달성했으며, 이는 Gold-only SFT(3.8%) 및 기본 모델(0.0%)에 비해 엄청난 향상입니다.
• 행동: Pyligent 모델은 적극적으로 백트래킹을 사용하며(실행당 평균 2.14회), 백트래킹의 47.7%가 "완벽한(perfect)" 것으로 분류되었습니다(실패를 일으킨 즉각적인 결정 지점으로 복귀). 반면, Gold-only SFT는 백트래킹을 거의 하지 않았고 실수를 반복하는 경향을 보였습니다.

2. 4×4 스도쿠

• 혼합 난이도: Pyligent(선형 탐색기)는 Gold-only SFT의 65% 대비 **82%**의 해결률에 도달했습니다.
• 전문가 난이도: Pyligent는 66%를 기록하여 Gold-only SFT의 48%보다 높은 성능을 보였습니다.
• 절제 연구(Ablations): 추론 트레이스의 사용은 성능을 크게 향提升시켰습니다. 그러나 실패 경로 훈련 에포크를 늘리는 것이 백트래킹 구문의 품질은 개선했으나 항상 더 높은 최종 해결률로 이어지지는 않았는데, 이는 회복 메커니즘 학습과 최종 지속 사이의 트레이드오프가 존재함을 시사합니다.

3. 추론 트레이스가 포함된 스도쿠 (w/ RT)

이 변형에서는 모델이 그리드 상태와 함께 자연어 정당화를 생성합니다. 전체 점수는 표준 스도쿠보다 낮았지만, Pyligent 모델은 여전히 Gold-only SFT(예: 전문가 작업에서 20% 대비 34%)를 능가하여, 자연어 추론이 필요한 작업에 대한 프레임워크의 적용 가능성을 입증했습니다.

4. 블록스월드 (Blocksworld)

국소적 유효성이 전역적 진보를 보장하지 않는 고전적인 계획 도메인입니다.

• 성능: Pyligent는 **50.35%**의 해결률을 달성하여 Gold-only SFT(29.37%)와 기본 모델(0.0%)을 크게 앞질렀습니다.
• 회복: 모델은 효과적으로 백트래킹을 수행하는 법을 배웠으며, 백트래킹의 14.4%가 "완벽한" 것으로 분류되었습니다. 프레임워크는 회복 메커니즘 없이는 유일하게 해결 가능한 작업들을 모델이 해결할 수 있도록 했습니다.

의의 및 주장

본 논문은 Pyligent를 성실한 학습자 가설의 경험적 구현 연구로 포지셔닝합니다. 저자들의 주장은 다음과 같습니다:

1. 회복은 학습 가능하다: 실패한 분치에 대한 명시적 지도는 정제된 솔루션 체인만을 학습한 모델에는 없는 유용한 회복 행동을 가르칩나다.
2. 정답 이상의 신호: 실패한 시도의 구조와 올바른 복귀 지점은 최종 정답이나 성공적인 경로와는 구별되는 중요한 학습 신호가 됩니다.
3. 행동적 vs 토큰 수준: 프레임워크는 추론 능력이 단순히 성공적인 궤적에 대한 토큰 수준의 예측이 아니라, 행동적 조건(탐색 및 검증)에 집중함으로써 향상될 수 있음을 보여줍니다.

저자들은 현재 프레임워크가 정확한 검증기에 의존하며 작고 합성된 작업에 국한되어 있다는 점을 언급하며 한계에 대해 겸허한 태도를 유지합니다. 또한 탐색의 정확도-비용 트레이드오프와 트레이스 형식 및 실패 데이터 가중치에 대한 훈련의 민감도에 대해 더 체계적인 연구가 필요함을 인정합니다. 그들은 이 방법이 검증 가능한 제약 조건이 있는 도메인에서 교정 인지 추론을 가르치기 위한 구체적인 엔지니어링 경로를 제공한다고 제안할 뿐, 검증 없는 개방형 자연어 추론을 해결한다고 주장하지 않습니다.