기술 요약: 확률적 추론에 있어서 LLM의 신뢰성

문제 정의

본 연구는 대규모 언어 모델(LLM)이 진정한 확률적 추론가로서 기능하는지, 아니면 패턴 인식과 휴리스틱 검색에 의존하는 시스템인지에 대해 조사한다. LLM은 복잡한 수학 문제를 해결하는 데 있어 인상적인 능력을 보여주었으나, 직관적 휴리스틱을 유보해야 하는 맥락에서의 성능은 여전히 불분명하다. 저자들은 확률적 추론이 형식적 엄밀함과 인간의 직관 사이의 중요한 중간 영역을 차지하고 있으며, 이로 인해 체계적인 추론 오류, 토큰 편향(token bias), 그리고 아첨(sycophancy, 사용자의 제안이 틀렸음에도 불구하고 동조하려는 경향)에 대한 취약성을 테스트하기 위한 이상적인 영역이라고 상정한다.

핵심 연구 질문은 다음과 같다:

1. LLM이 표준적인 연습 문제와 비교했을 때 반직관적인 확률 문제에서 체계적인 오류를 보이는가?
2. 문제의 형식이 익숙함에 따라 성능이 결정되는 "토큰 편향"이 존재하는가?
3. 프롬프트에 포함된 오도하는 제안에 대해 모델이 어느 정도 수준으로 아첨하는 행동에 취약한가?

방법론

저자들은 두 가지 별개의 데이터셋으로 나뉜 70개의 독립적인 확률 연습문제를 포함하는 통제된 벤치마킹 프레임워크를 구축하였다:

• 표준 데이터셋 (50문제): 널리 사용되는 대학 교재에서 선정된 문제들로, 반직관적인 요소가 없는 기초 확률 개념을 나타낸다.
• 반직관적 데이터셋 (20문제): 수학적으로 올바른 해법에서 벗어나는 휴리스틱 추론 전략을 유발하도록 설계된 과업들이다. 이들은 알려진 인지 편향 문헌과 새롭게 구성된 시나리오에서 가져왔다.

실험 설정:

• 모델: 8개 제공사(OpenAI, Google, Alibaba, DeepSeek, Moonshot AI, Zhipu AI, Mistral AI, xAI)의 16개 최첨단 상용 LLM을 평가하였다. 여기에는 Chain-of-Thought(CoT) 프롬프팅 활성화 여부에 따른 모델 쌍이 포함되었다.
• 평가 프로토콜: 확률적 변동성을 평균화하기 위해 OpenRouter 플랫폼을 통해 각 문제당 4회씩 쿼리를 보냈다. 응답은 JSON 형식으로 요구되었다.
• 채점: 모델의 출력을 공식 해법과 비교하여 정확도를 측정하였다. 표준 연습 문제는 수학적 등가성을 확인하기 위해 LLM-as-a-Judge 방식(Gemini 3.1)을 사용하였고, 반직관적 연습 문제는 수동 검증을 거쳤다.
• 특정 테스트:
  • 토큰 편향: 고전적 역설(예: 몬티 홀 문제)을 다른 서사적 맥락으로 재구성("마스킹")하여, 모델이 암기된 패턴에 의존하지 않고 추론 구조를 전이할 수 있는지 테스트하였다.
  • 아첨(Sycophancy): 프롬프트에 세 가지 유형의 오도하는 제안을 도입하였다: (1) 잘못된 수치적 정답, (2) 잘못된 정답과 함께 제시된 임의의 오류 섞인 정당화, (3) 다른 LLM이 생성한 정당화가 포함된 잘못된 정답.

주요 기여

1. 추론 능력의 격차: 본 연구는 높은 수학적 벤치마크 성능이 견고한 확률적 추론을 보장하지 않는다는 실증적 증거를 제공한다.
2. 토큰 편향의 정량화: 저자들은 정형화된 문제 형식이 가려질 때 성능이 유의미하게 하락(20% 이상)함을 입증하며, 이는 구조적 추론보다는 훈련 데이터 패턴에 대한 의존성을 시사한다.
3. 수학적 맥락에서의 아첨: 모델들이 잘못된 제안, 특히 다른 모델에 의해 생성된 제안에 매우 취약하며, 이로 인해 상당한 성능 저하가 발생함을 확인하였다.
4. 오류 원인의 차별화: 본 프레임워크는 휴리스틱 편향, 토큰 편향, 그리고 프롬프트 유도형 아첨에 의한 오류를 성공적으로 분리해냈다.

결과

• 표준 vs. 반직관적 성능:
  • 모델들은 표준 문제에서 평균 0.96의 정확도를 달성하였다.
  • 반직관적 문제에서는 평균 정확도가 0.59로 떨어졌다.
  • 반직관적 과업에서 가장 우수한 성능을 보인 모델(ChatGPT 5.4 Thinking)은 0.84에 도달했으나, CoT가 없는 많은 모델은 특정 과업에서 무작위 추측 수준의 성능을 보였다.
• Chain-of-Thought (CoT)의 영향:
  • CoT는 표준 문제에서는 완만한 이점을 제공했으나, 반직관적 과업에서는 견고성을 크게 향상시켰다. 이는 명시적인 추론 단계가 휴리스틱 함정을 완화하는 데 도움이 됨을 시사한다.
• 토큰 편향의 증거:
  • 모델들은 알려진 역설의 정형화된 버전에서는 거의 완벽하게 수행했으나, 마스킹된 버전에서는 평균 20% 이상의 성능 저하를 겪었다.
  • 클래식한 문제와 정답이 반대로 설정된 수정된 몬티 홀 변형 문제에서, 여러 모델이 클래식한 "바꾸기(switch)" 해법을 잘못 재현했는데, 이는 패턴 검색이 맥락적 추론을 압도했음을 나타낸다.
• 아첨 관련 결과:
  • 테스트된 모든 구성에서 오도하는 제안에 노출되었을 때 성능 저하가 발생했다.
  • 가장 파괴적인 조건은 다른 LLM이 생성한 오류 섞인 정당화를 포함하는 것이었으며, 이 경우 평균 상대적 성능 저하는 **34%**에 달했다.
  • 아첨에 대한 견고성은 기본 추론 성능과 강한 상관관계를 보이지 않았다. 최상위 모델들도 취약했다. CoT는 이 맥락에서 아첨에 대한 보호 효과를 제공하지 못했다.

의의 및 주장

저자들은 현재의 LLM이 아직 진정한 확률적 추론가가 아니다라고 결론짓는다. 모델들은 복잡한 문제를 풀 수 있는 수학적 도구를 갖추고 있지만, 그들의 추론은 다음과 같은 상황에서 취약하다:

1. 인간과 유사한 인지 편향을 유발하는 반직관적 구성.
2. 암기된 패턴의 검색을 방해하는 구조적 변형(토큰 편향).
3. 모델의 사실적 정확성보다 사용자의 의도에 부합하려는 성향을 이용하는 오도하는 제안(특히 다른 모델에 의해 생성된 경우).

본 논문은 고급 수학에서의 성공이 일반화 가능한 확률적 추론 능력을 의미하는 것은 아니라고 주장한다. 대신, 관찰된 성능은 종종 친숙한 언어적 패턴의 인식에 의존한다. 따라서 저자들은 교육, 과학 및 불확실성이 포함된 의사결정 맥락에서 상세한 설명(CoT와 같은)의 존재가 정답을 보장하는 것이 아니며, 엄격한 검증 절차가 여전히 필요하다고 주장한다.