The Model Says Walk: How Surface Heuristics Override Implicit Constraints in LLM Reasoning

이 논문은 대규모 언어 모델 (LLM) 이 표면적인 단서 (surface cues) 와 명시되지 않은 실현 가능성 제약 (implicit feasibility constraints) 이 충돌할 때 발생하는 체계적인 추론 실패를 분석하고, 이를 해결하기 위한 벤치마크와 완화 전략을 제안합니다. 제목인 **"The Model Says Walk"**는 "세차를 하려면 차를 세차장에 가져가야 한다"는 상식적 제약이 있음에도 불구하고, "세차장이 50m(또는 100m) 밖에 없다"는 짧은 거리라는 표면적 단서에만 반응하여 "도보로 가라"는 잘못된 결론을 내리는 현상을 비유합니다.

다음은 이 논문의 기술적 요약입니다.

---

1. 문제 정의 (Problem)

LLM 은 사실적 환각 (factual hallucination) 과 달리, 전제는 올바르게 인식했음에도 불구하고 추론 과정에서의 오류를 범합니다. 특히, 통계적으로 지배적인 표면적 패턴 (예: "거리가 짧으면 걷는다") 이 명시되지 않은 필수 전제 (예: "차 세차장에 차가 있어야 함") 와 충돌할 때, 모델은 제약 조건을 무시하고 표면적 휴리스틱을 따릅니다.

• 핵심 문제: 모델이 관련 세계 지식 (world knowledge) 을 보유하고 있음에도 불구하고, 표면적 단서가 활성화되어 제약 추론 경로가 억제되는 현상.
• 기존 연구의 한계: 기존 연구는 단순 정확도 (accuracy) 에만 의존하여 모델이 실패한다는 사실만 확인했을 뿐, 왜 실패하는지 (어떤 특징이 휴리스틱을 유발하는지, 추론 경로는 어떻게 다른지) 에 대한 체계적인 분석이 부족했습니다.

2. 방법론 (Methodology)

저자들은 Diagnose-Measure-Bridge-Treat (진단 - 측정 - 연결 - 치료) 프레임워크를 사용하여 연구를 진행했습니다.

2.1 진단 분석 (Diagnostic Analysis)

• 사례 연구: "세차 문제 (Car Wash Problem)"를 6 개의 모델 (Qwen3 시리즈, GPT-OSS 등) 에 적용했습니다.
• 인과적 가림 분석 (Causal Occlusion): 입력의 각 구성 요소 (목표, 휴리스틱 단서, 옵션) 를 변형 (마스킹, 중립화, 모순) 하여 결정 점수 (decision score) 의 변화를 측정했습니다.
• 단조성 곡선 분석 (Monotonicity Curve): 거리 변수를 10m 에서 100km 까지 변화시키며 모델의 반응을 측정하여, 목표에 독립적인 시그모이드 (sigmoid) 휴리스틱 패턴이 존재하는지 확인했습니다.

2.2 벤치마크 개발: HOB (Heuristic Override Benchmark)

• 구성: 4 가지 휴리스틱 가족 (근접성, 효율성, 비용, 의미적 유사성) 과 5 가지 제약 가족 (존재, 능력, 유효성, 범위, 절차) 을 교차하여 500 개의 인스턴스를 생성했습니다.
• 디자인 원칙:
  • 최소 쌍 (Minimal Pairs): 제약 조건을 제거한 쌍 (예: "차 세차" vs "세차 기프트카드 수령") 을 만들어 표면적 이해와 제약 추론을 분리했습니다.
  • 제어된 기울기: 휴리스틱 강도 (강/중/약) 와 제약 명시성 (암시/힌트/명시) 을 조절하여 모델이 휴리스틱을 극복하는 시점을 분석했습니다.
• 평가: 14 개의 모델 (API 및 로컬 모델) 을 대상으로 10 회 시도 중 10 회 모두 정답일 때만 정답으로 간주하는 엄격한 기준 (Strict 10/10) 을 적용했습니다.

2.3 완화 실험 (Mitigation)

• 목표 분해 프롬프트 (Goal-Decomposition Prompt): "목적을 달성하기 위한 필요 조건을 먼저 나열한 후 답하라"는 지시를 추가하여, 모델이 휴리스틱이 발동하기 전에 제약 조건을 스스로 생성하도록 유도했습니다.

3. 주요 결과 (Key Results)

3.1 휴리스틱 우세 (Heuristic Dominance)

• 거리 단서의 압도적 영향: 분석 결과, 거리 단서 (Distance cue) 가 목표 (Goal) 보다 8.7 배에서 38 배 더 큰 영향을 미치는 것으로 나타났습니다 (HDR: Heuristic Dominance Ratio).
• 토큰 수준 분석: 모델은 구성적 추론 (compositional inference) 을 하기보다 키워드 연관성 (keyword associations) 에 기반하여 판단했습니다. 예를 들어, 'car'나 'vehicle'라는 단어는 오히려 '도보'를 지지하는 방향으로 작용했습니다.
• 시그모이드 패턴: 모든 모델은 거리에 따라 결정 점수가 시그모이드 곡선을 그리며, 이는 목표와 무관하게 거리만 보고 판단하는 맥락 독립적 휴리스틱임을 보여줍니다.

3.2 HOB 벤치마크 성능

• 낮은 정확도: 14 개 모델 중 엄격한 기준 (10/10) 에서 75% 를 초과한 모델은 하나도 없었습니다. 평균 정확도는 62.6% 였으며, 가장 어려운 제약 유형인 '존재 (Presence, C-pres)'는 평균 44.4% 의 정확도를 보였습니다.
• 명시성 기울기 (Explicitness Gradient): 미세한 힌트 (예: "차"라는 객체에 강조) 만으로도 정확도가 평균 15.3%p 상승했습니다. 이는 모델이 지식을 가지고 있지만, 이를 활성화하는 데 실패한다는 것을 의미합니다.
• 보수적 편향 (Conservative Bias): 제약 조건이 제거된 '최소 쌍'에서 14 개 모델 중 12 개 모델의 성능이 오히려 떨어졌습니다 (최대 -38.5%p). 이는 모델이 제약이 있는 상황에서는 오히려 더 어려운 옵션 (예: '세차장까지 차를 가져가야 함'을 고려) 을 선택하는 경향이 있음을 보여주며, 단순한 휴리스틱 실패가 아님을 시사합니다.

3.3 완화 효과

• 목표 분해 프롬프트: "필요 조건을 먼저 나열하라"는 프롬프트를 적용한 결과, 약한 모델 (Llama 4 Scout, GPT-5.4) 의 성능이 6~9%p 향상되었습니다. 이는 추론 순서 (inference-order) 의 병목 현상이 해결됨을 시사합니다.

4. 주요 기여 (Key Contributions)

1. 체계적인 분석 프레임워크: LLM 의 휴리스틱 우세 현상을 진단하고, 그 원인이 '지식 부재'가 아닌 '추론 활성화 실패'임을 규명했습니다.
2. HOB 벤치마크: 500 개의 인스턴스로 구성된 새로운 벤치마크를 공개하여, 다양한 휴리스틱과 제약 조건 하에서의 모델 성능을 정량화할 수 있는 기준을 마련했습니다.
3. 새로운 실패 패턴 규명:
   • 시그모이드 휴리스틱: 맥락과 무관하게 표면적 단서에 반응하는 보편적 패턴 발견.
   • 보수적 편향: 제약이 제거된 상황에서 오히려 성능이 떨어지는 역설적 현상 발견.
   • 단순한 '쇼트컷 학습'과의 차별화: 기존 쇼트컷 학습 (불필요한 특징 제거) 과 달리, 이 문제는 필수적인 두 구성 요소 (휴리스틱 vs 제약) 간의 우선순위 경쟁 문제임을 강조했습니다.

5. 의의 및 시사점 (Significance)

• 안전성 및 신뢰성: 의료, 법률, 금융 등 제약 조건이 명확하지 않고 표면적 단서와 충돌할 수 있는 고위험 분야에서 LLM 의 추천이 체계적으로 잘못될 수 있음을 경고합니다.
• 평가 방법론의 전환: 단순 정확도만으로는 LLM 의 추론 능력을 평가할 수 없으며, '제약 민감성 (constraint sensitivity)'과 '휴리스틱 우세'를 측정할 수 있는 새로운 평가 지표가 필요함을 주장합니다.
• 해결 방향: 모델의 내부 지식을 강화하는 것보다, 추론 순서를 재구성 (예: 전제 조건 명시) 하거나 제약 조건을 명시적으로 유도하는 프롬프트 엔지니어링이 효과적인 완화 전략이 될 수 있음을 시사합니다.

이 논문은 LLM 이 "알고 있음에도 불구하고" (knowing but not applying) 실수하는 근본적인 원인을 규명하고, 이를 측정하고 개선하기 위한 실질적인 도구를 제공했다는 점에서 중요한 의의를 가집니다.