기술 요약: 엄격한 귀납적 추론을 위한 아워글래스(Hourglass) 추론

1. 문제 정의

현재의 최첨단 대규모 언어 모델(LLM)은 소수의 예시로부터 단 하나의 정밀한 변환 규칙을 추출해야 하는 작업(예: ARC-AGI-2, 하드웨어 합성, 언어 퍼즐)에서 적은 수의 샷(few-shot) 귀납적 추론에 어려움을 겪고 있습니다. 자연어 작업에서는 강력한 성능을 보임에도 불구하고, 이 모델들은 추상적인 잠재 규칙을 도출하기보다는 표면적인 규칙성을 이용하는 "지름길 학습(shortcut learning)"에 의존하기 때문에 일반화에 실패하는 경우가 많습니다.

기존의 자기 개선(self-refinement) 방법(예: Self-Refine)은 일반적으로 단일한 컨텍스트 창 내에서 작동합니다. 이러한 설정에서는 가공되지 않은 예시, 현재의 결과물, 오류 피드백, 그리고 수정 지침이 구조적 분리 없이 공존합니다. 결과적으로 모델은 추상적인 규칙을 유지하기보다는 저수준의 지각적 세부 사항에 고착되거나 특정 인스턴스에 특화된 패치(예: 특정 좌표에 키를 둔 if-else 분기)를 하드코딩하는 경향을 보입니다. 이는 훈련 예시는 통과하지만 분포 외(out-of-distribution) 쿼리에는 실패하는 취약한 솔루션으로 이어집니다. 또한, 최근 연구에로 따르면 단일 컨텍스트 내에서의 나이브한 자기 수정은 컨텍스트 오염과 조기 수렴으로 인해 성능을 저하시킬 수 있습니다.

2. 방법론: 아워글래스(Hourglass) 추론

저자들은 추론 단계 간의 엄격한 컨텍스트 격리를 강제하는 구조화된 추론 파이프라인인 아워글래스 추론을 제안합니다. LLM은 각 태스크를 위한 심볼릭 인코더-디코더를 동적으로 구축하는 "메타 생성자(meta-constructor)" 역할을 수행합니다. 핵심 혁신은 정보가 압축된 심볼릭 상태로서만 흐르도록 하는 **구조적 병목(structural bottleneck)**이며, 이를 통해 인스턴스별 세부 사항이 단계 간에 누출되는 것을 방지합니다.

파이프라인은 공유된 대화 기록 없이 각각 독립적인 스테이트리스(stateless) API 호출로 실행되는 네 가지 격리된 단계로 구성됩니다:

1. 귀납(Induction, 인코더): 모델은 지원 집합($S$)을 분석하여 스키마($\phi$)(입력을 파싱하는 방법, 예: 객체의 역할, 연결성 정의)와 일시적 스캐폴드($z$)(예시에서 발견된 특정 인스턴스 열거)를 생성합니다.
2. 연역(Deduction, 디코더): 모델은 $\phi$와 $z$를 기반으로 **변환 규칙($T$)**을 도출합니다. 결정적으로, 스캐폴드 $z$는 이 단계 직후에 폐기됩니다. 오직 추상적 규칙 $T$와 스키마 $\phi$만이 다음 단계로 진행됩니다.
3. 구현(Implementation): 모델은 심볼릭 상태 $(\phi, T)$를 파이썬 스크립트나 Verilog 코드와 같은 실행 가능한 결과물($P$)로 결정론적으로 컴파일합니다.
4. 스키마 기반 개선(Schema-Anchored Refinement): 실행에 실패할 경우, 모델은 개선 루프에 진입합니다. 모델은 코드를 직접 수정하는 대신, 근본 원인을 진단하고 심볼릭 상태 $(\phi, T)$를 수정하며, 새로운 컨텍스트에서 결과물 $P$를 처음부터 다시 생성합니다.

핵심 아키텍처 제약 조건:

• 컨텍스트 격리: 중간 추론 과정, 스캐폴드, 오류 로그는 각각의 세션에 국한됩니다.
• 심볼릭 병목: 오직 압축된 심볼릭 상태 $(\phi, T)$만이 단계 경계를 넘습니다.
• 일시적 스캐폴드: 스캐폴드 $z$는 $T$의 도출을 돕지만, 구현 전 단계에서 제거되어 시스템이 특정 예시가 아닌 추상적 규칙에 의존하도록 강제합니다.

3. 주요 기여

1. 귀납적 추론을 위한 구조적 병목: 본 논문은 역할이 분리된 심볼릭 상태 전달을 통해 병목을 강제하는 워크플로우를 도입합니다. 절제 실험(ablation studies)을 통해 단계 간의 격리가 성능 향상의 필수 조건이며, 특정 심볼릭 어휘나 프롬프트 문구는 부차적임을 확인했습니다.
2. 교차 도메인 실증적 증거: 저자들은 이 도메인 불가지론적(domain-agnostic) 파이프라인이 세 가지 뚜렷한 벤치마크에서 상당하고 일관된 이득을 얻음을 입증했습니다:
   • 시각적 추상화: ARC-AGI-2 (공간 규칙 발견).
   • 형식적 하드웨어 합성: ChipBench (Verilog 및 Python 로직 생성).
   • 텍slual 규칙 귀납: BBEH-Linguini (국제 언어 올림피아드 퍼즐), 명시적인 언어화가 오히려 성능을 저하시켰던 환경.
3. 기여 요인의 분리: 절제 실험을 통해, 이 이득이 프롬프트 엔지니어링이나 출력 포맷팅, 혹은 단순히 구조화된 중간 결과물의 존재 때문이 아님을 증명했습니다. 오히려 워크플로우 토폴로지(물리적 컨텍스트 격리 + 초기 병목 품질)가 핵심 동력임을 밝혀냈습니다.

4. 실험 결과

방법론은 GPT-5.5 및 Gemini 3.1 Pro를 사용하여 컨텍스트를 리셋하는 Self-Refine 베이스라인과 비교 평가되었습니다.

• ARC-AGI-2: Hourglass는 best-of-5 정확도를 베이스라인 대비 최대 14 퍼센트 포인트 향상시켰습니다 (예: GPT-5.5: 62.8% $\to$ 76.8%). 보조 프롬프트가 없는 "plain" 변형에서도 대부분의 이득이 유지되어 토폴로지의 견고함을 확인했습니다.
• ChipBench:
  • 참조 모델 생성: best-of-5 정확도를 66.7%에서 **82.2%**로 향상시켰습니다 (GPT-5.5).
  • Verilog 합성: GPT-5.5의 정확도를 31.1%에서 57.8%로 거의 두 배 가까이 높였습니다.
• BBEH-Linguini: 명시적 규칙 귀납이 성능 저하를 일으키는 이 언어적 설정에서, Hourglass는 Self-Refine에서 나타나는 붕괴 현상을 완화했습니다. Gemini 3.1 Pro의 경우, Raw 프롬프트 베이스라인의 68.1%와 비교하여 **79.9%**의 pass@5를 달성하며 부정적인 추세를 반전시켰습니다.

절제 실험 통찰:

• 약한 초기화: 귀납/연역 모듈을 더 약한 모델로 교체했을 때 성능이 급격히 하락하였으며, 이는 초기 병목 품질이 매우 중요함을 나타냅니다.
• Struct-SR (Structured Self-Refine): 동일한 구조화된 중간 상태 $(\phi, T)$를 출력하지만 컨텍스트 격리가 결여된 단일 컨텍스 모형(monolithic baseline)은 전체 Hourglass보다 성능이 현저히 낮았으며, 종종 제약 없는 베이스라인보다도 낮은 성능을 보였습니다. 이는 물리적 격리가 필수적임을 확인시켜 줍니다.
• Code-Only: 개선 모델의 입력에서 심볼릭 상태를 제거했을 때 미미한 하락만 있었는데, 이는 컴파일된 코드가 구조적 제약을 암묵적으로 유지하고 있음을 시사합니다.

5. 의의 및 주장

본 논문은 고정된 LLM의 귀납적 추론을 가능하게 하는 주된 동력이 특정 언어 표현이 아니라, 정보가 추론 과정을 통해 어떻게 흐르는가라는 점을 주장합니다.

• 프롬프팅보다 메커니즘: 결과는 단일 컨텍스트 내에서의 더 나은 프롬프트 엔지니어링이나 "단계별 사고(thinking step-by-step)"만으로는 충분하지 않다는 점을 시사합니다. 대신, 예시를 규칙으로 압축하고 구현 전 원시 데이터를 폐기하도록 강제하는 병목 구조의 물리적 집행이 엄격한 일반화를 가능하게 합니다.
• 지름길 학습 완화: 실행과 개선으로부터 규칙 도출을 격리함으로써, Hourglass는 모델이 인스턴스별 세부 사항으로 코드를 "패치"하는 것을 방지하고 추상적 변환 규칙을 준수하도록 강제합니다.
• 해석 가능성: 명시적인 심볼릭 중간 단계 $(\phi, T)$는 투명한 추론 궤적을 제공하여, 단순한 성능 지표를 넘어 디버깅 및 분석에 가치를 제공합니다.

저자들은 현재의 구현이 태스크별 스캐폴드라는 점, 병목이 아키텍처가 아닌 프롬프팅에 의해 강제되는 "소프트(soft)"한 성격이라는 점, 그리고 분리된 API 호출로 인한 계산 비용 증가(약 2-3배의 토큰 사용량) 등의 한계를 인정하며 신중한 입장을 유지합니다. 결론적으로, 현재의 구현은 태스크별 스캐폴드이지만, 이 토폴로지의 성공은 향후 전이 가능한 메타 전략을 학습하는 데 있어 유망한 경로를 제시한다고 밝히고 있습니다.