From Proof to Program: Characterizing Tool-Induced Reasoning Hallucinations in Large Language Models

1. 문제 정의 (Problem Definition)

대규모 언어 모델 (LLM) 은 외부 도구 (예: 코드 인터프리터) 를 활용하여 자신의 파라미터 내 지식 한계를 넘어 문제를 해결할 수 있는 도구 증강 언어 모델 (TaLMs) 로 발전했습니다. 그러나 기존 연구는 주로 도구를 잘못 선택하거나 호출하는 '도구 환각 (Tool Hallucination)'에 집중했습니다.

이 논문은 도구가 올바르게 선택되고 실행되었음에도 불구하고 발생하는 새로운 형태의 실패 모드를 규명합니다.

• 핵심 문제: 모델이 도구의 출력을 논리적 추론의 대체재 (Substitute) 로 오용하여, 최종 정답은 맞출 수 있지만 그 과정에 필요한 심층적인 수학적 추론 (Proof) 을 생략하거나 단순화하는 현상입니다.
• 명칭: 저자들은 이를 도구 유도 근시 (Tool-Induced Myopia, TIM) 라고 명명했습니다.
• 특징: 모델이 도구 호출을 통해 경험적 검증 (Empirical Checks) 이나 브루트포스 검색에 의존하게 되면서, 논리적 일관성은 유지되지만 추론의 깊이가 얕아지고 신뢰할 수 없는 추론이 발생합니다.

2. 방법론 (Methodology)

저자들은 TIM 을 정량화하고 완화하기 위해 다음과 같은 방법론을 제시했습니다.

A. PYMATH 벤치마크 구축

• 데이터: 1,679 개의 경쟁 수준 (Competition-level) 수학 문제를 수집하여 PYMATH 데이터셋을 구성했습니다.
• 선정 기준: 파이썬 코드가 문제 해결에 도움이 되지만 (Helpful), 충분하지는 않은 (Not Sufficient) 문제들만 선별했습니다. 이는 모델이 도구 사용과 추론을 적절히 조화시켜야 하는 상황을 유도하기 위함입니다.
• 출처: AIME, OlympiadBench, OlympicArena, Omni-Math 등 다양한 소스에서 추출했습니다.

B. 다차원 평가-suite (Evaluation Suite)

단순한 최종 정답 정확도 (Final-Answer Accuracy) 는 TIM 을 포착하지 못하므로, 4 가지 차원의 지표를 도입했습니다:

1. 최종 정답 정확도 (Final-Answer Accuracy): 작업 성공 여부를 확인.
2. 승률 (Win Rate): TaLM 과 도구 미사용 베이스 모델 (Base-LLM) 의 해법을 비교하여, 어느 쪽의 추론 과정이 더 논리적 오류가 적은지 판단 (LLM 저자 활용).
3. 누락률 (Miss Rate): 정답 해법 (Ground Truth) 에 포함된 필수 논리 단계가 모델 생성 해법에서 얼마나 빠져있는지 측정.
4. PRM 정확도 (Process Reward Model Accuracy): 단계별 추론의 정확성을 평가하는 과정 보상 모델 점수.

C. 완화 전략 (Mitigation Strategies)

TIM 을 줄이기 위해 두 가지 접근법을 제안했습니다.

1. 프롬프트 개입 (Prompting Intervention): 모델에게 "코드 실행 결과는 단순한 힌트일 뿐이며, 수학적 추론을 통해 해를 도출해야 한다"는 지시를 주입.
2. 선호도 최적화 (Preference Optimization, DPO):
   • 데이터 생성: 정답은 동일하지만, 하나는 심층 추론을 포함하고 다른 하나는 도구 의존적 (TIM 발생) 인 해법 쌍을 생성.
   • 학습: Direct Preference Optimization (DPO) 을 통해 모델이 도구 의존적 추론보다 심층 추론을 선호하도록 미세 조정 (Fine-tuning).

3. 주요 결과 (Key Results)

7 개의 최첨단 LLM(GPT-4.1, GPT-5, Gemini, Claude 등) 에 대한 실험 결과는 다음과 같습니다.

• 정확도 vs 추론 질의 역설: TaLM 은 도구 사용으로 인해 최종 정답 정확도가 최대 19.3%p 상승했으나, 추론 과정의 질은 Base-LLM 대비 현저히 저하되었습니다.
  • Base-LLM 이 TaLM 보다 41.5% 더 높은 승률 (Win Rate) 을 보였습니다.
  • 도구 호출 횟수가 증가할수록 추론의 일관성은 떨어지고 누락률 (Miss Rate) 은 증가했습니다.
• 오류 유형의 변화: 도구 사용으로 인해 산술/대수 오류는 줄어들었으나, 논리 (Logic), 가정 (Assumption), 창의성 (Creativity) 관련 오류가 급증했습니다. 이는 모델이 계산 도구를 통해 논리적 비약 (Leap) 을 정당화하려는 경향을 보임을 의미합니다.
• TIM 의 보편성: 고위험군 (정답은 맞지만 추론이 얕은) 해법 중 약 55% 에서 TIM 현상이 확인되었습니다. 특히 '생각하는 (Thinking)' 모델일수록 도구를 더 자주 사용하며 TIM 위험이 높았습니다.
• 완화 효과:
  • 프롬프트: 추론 질은 개선되었으나 정확도가 약간 하락했습니다.
  • DPO: 최종 정답 정확도 (+0.6%) 와 추론 지표 (승률, 누락률) 를 모두 개선하여 가장 효과적인 완화 전략으로 입증되었습니다.

4. 주요 기여 (Key Contributions)

1. Tool-Induced Myopia (TIM) 의 발견: 도구가 올바르게 작동할 때조차 발생하는, 추론 깊이 감소 현상을 최초로 정의하고 체계화했습니다.
2. PYMATH 벤치마크 및 평가 체계: 도구 의존성과 추론 깊이를 동시에 측정할 수 있는 다차원 평가 도구를 제시했습니다.
3. 완화 프레임워크: 단순한 도구 사용 오류 수정을 넘어, 모델이 도구를 '추론의 보조 도구'로 인식하도록 하는 DPO 기반의 정렬 (Alignment) 전략을 제안했습니다.

5. 의의 및 시사점 (Significance)

이 연구는 LLM 이 도구를 사용할 때 "정답을 맞추는 것"과 "올바르게 추론하는 것"이 반드시 일치하지 않을 수 있음을 경고합니다.

• 신뢰성 문제: 최종 정답이 맞더라도, 모델이 도구 출력에 의존하여 논리적 근거를 생략하면 실제 응용 환경 (의료, 법률, 과학 등) 에서 치명적인 오류를 초래할 수 있습니다.
• 평가 기준의 변화: 단순한 정답률 중심의 평가에서 벗어나, 추론 과정의 깊이와 도구 사용의 적절성을 평가하는 새로운 패러다임이 필요함을 강조합니다.
• 미래 방향: 도구 증강 시스템의 개발 시, 모델이 도구를 '대체재'가 아닌 '보조 도구'로 활용하도록 학습시키는 것이 핵심임을 시사합니다.

요약하자면, 이 논문은 도구 사용이 LLM 의 능력을 확장시키는 동시에 추론 능력을 퇴화시킬 수 있는 역설적인 현상을 규명하고, 이를 해결하기 위한 구체적인 데이터셋과 학습 기법을 제시한 중요한 연구입니다.