Tracing the ongoing emergence of human-like reasoning in Large Language Models

기술적 요약: 대규모 언어 모델에서 인간과 유사한 추론의 지속적 출현 추적

문제 제기
대규모 언어 모델 (LLM) 이 정교한 언어 능력을 보여주고 있음에도 불구하고, 특히 의미론과 화용론의 인터페이스와 관련하여 인간과 유사한 추론 능력을 보유하고 있는지는 여전히 불분명합니다. 인간은 화용론적 추론을 통해 문자 그대로의 의미를 자연스럽게 풍부하게 만듭니다. 예를 들어, 문맥에 따라 조건문을 다르게 해석하는 것 (예: "완성된" 조건문과 "비스킷" 조건문 구분) 이 그 예입니다. 저자들은 LLM 이 "탈맥락화 편향 (Decontextualization Bias)"을 겪을 수 있다고 주장합니다. 이는 입력의 형식적 또는 문자적 측면에 의존하는 경향이 있지만, 인간 처리를 이끄는 맥락적 단서를 통합하지 못하는 경향을 의미합니다. 본 연구는 LLM 이 여러 언어에 걸쳐 인간이 조건문에 적용하는 미묘하고 맥락에 민감한 추론을 재현할 수 있는지 조사합니다.

방법론
연구진은 313 명의 인간 참가자와 25 개의 최첨단 LLM 을 포함하는 인구 매칭 실험을 수행했습니다. 연구는 카탈로니아어, 영어, 이탈리아어, 스페인어 등 네 가지 언어에 걸쳐 진행되었습니다.

• 작업 설계: 각 언어당 54 개의 실험 프롬프트를 사용하여 진위 가치 판단 작업을 수행했습니다. 여기에는 표준 조건문 (SCs) 과 비스킷 조건문 (BCs) 이 포함되었으며, 통제 항목과 채우기 항목이 함께 사용되었습니다.
  • 표준 조건문 (예: "잔디를 깎으면 50 달러를 드리겠습니다"): 인간은 일반적으로 양조건 관계 (완성된 읽기) 를 추론합니다. 즉, 전제가 참일 때만 결론이 성립합니다.
  • 비스킷 조건문 (예: "배가 고프다면 오븐에 피자가 있습니다"): 인간은 결론이 전제와 무관하게 성립한다고 추론합니다 (비스킷 읽기).
  • 핵심 시료: 실험은 전제가 거짓인 시나리오에 초점을 맞췄습니다. 인간은 SC 의 경우 (양조건 추론으로 인해) 결론을 거짓으로, BC 의 경우 (무관성으로 인해) 결론을 참으로 판단할 것으로 예상됩니다.
• 참가자:
  • 인간: Prolific 을 통해 모집된 원어민으로, 신경다양성과 언어 장애를 필터링했습니다.
  • LLM: 다양한 계열 (Claude, GPT, Gemini, Llama, Mistral 등), 아키텍처 (Dense 대 Mixture-of-Experts), 가용성 (Open 대 Closed source), 훈련 방향 (Generative 대 Reasoning) 을 포괄하는 25 개 모델.
• 분석: 중첩된 데이터 구조를 고려하기 위해 일반화 선형 혼합 효과 모델 (로지스틱 회귀) 을 사용하여 데이터를 분석했습니다. 연구는 에이전트 (인간 대 LLM), 프롬프트 유형 (실험 대 통제), 조건문 유형 (SC 대 BC) 간의 정확도율 및 상호작용 효과를 비교했습니다.

주요 기여

1. 새로운 벤치마크: 이 연구는 조건문에서 논리적 추론과 화용론적 풍부화를 분리하기 위해 특별히 설계된 교차 언어 벤치마크를 도입하여, 집계 정확도를 넘어 특정 추론 유형을 탐구합니다.
2. 체계적 비교: 인간과 25 개의 다양한 LLM 세트 간의 대규모 인구 매칭 비교를 제공하며, 통계적 타당성을 위해 인간 샘플 크기와 일치하도록 모델 응답을 집계합니다.
3. 아키텍처 및 훈련 분석: 이 논문은 개방성, 아키텍처 유형, 훈련 방향과 같은 광범위한 설계 특징이 화용론적 추론 능력을 예측하는지 체계적으로 평가하여, 현재 문헌에서 출현하는 추론의 동인에 대한 격차를 해소합니다.

결과

• 인간 수행: 인간은 SC 와 BC 를 일관되게 구분하여 견고한 화용론적 풍부화를 보여주었습니다. 그들은 SC 에 대해 완성된 읽기를 (88%), BC 에 대해 비스킷 읽기를 (57%) 지지하여 영어 화자 집단에서의 이전 연구 결과와 일치했습니다.
• LLM 수행:
  • 전체 정확도: LLM 은 화용론적 추론이 필요한 핵심 실험 조건에서 인간보다 현저히 낮은 성능을 보였습니다. 통제 조건에서는 높은 정확도를 유지했지만, 맥락적 추론이 필요할 때 성능은 크게 떨어졌습니다.
  • 행동 프로파일: LLM 사이에서 두 가지 지배적인 행동 패턴이 나타났습니다.
    1. 진리표 준수자: 고전 논리를 엄격히 따르는 모델로, 거짓 전제를 공허하게 참으로 간주하여 SC 와 BC 모두에 필요한 화용론적 추론을 도출하지 못했습니다.
    2. 규칙 기반 양조건화자: 모든 조건문을 양조건 (필요충분조건) 으로 균일하게 강화하는 모델로, SC 와 BC 를 구분하지 못하여 비스킷 해석을 완전히 놓쳤습니다.
  • 변이성: 개별 모델 간 수행에는 높은 이질성이 있었으며, 우연 수준에서 높은 정확도까지 다양했습니다. 그러나 고성능 모델조차 인간의 유연하고 맥락에 민감한 추론을 따라잡지 못했습니다.
• 수행 예측 요인:
  • 언어: 수행은 대체로 언어와 무관했습니다. 인간과 모델 모두 네 가지 언어 간에 유의미한 차이가 발견되지 않았습니다.
  • 설계 특징: 결정적으로 개방성 (오픈 대 클로즈드 소스), 아키텍처 (덴스 대 MoE), 훈련 방향 (생성 대 추론) 과 같은 광범위한 설계 특성은 모델 정확도나 화용론적 민감성을 신뢰할 수 있게 예측하지 못했습니다. 모든 카테고리 내에서 고성능 및 저성능 모델이 발견되었습니다.

의의 및 주장
이 논문은 현재 LLM 이 정확한 의미론적 연산자로서 기능하지만, 인간 추론의 특징인 화용론적 풍부화를 포착하지 못한다고 결론 내립니다. 저자들은 LLM 이 실세계 의사소통 환경에 대한 기반이 부족하여 맥락적으로 풍부해진 해석보다 표면 형태와 문자적 의미를 선호하는 "탈맥락화 편향"을 보인다고 주장합니다.

본 연구는 화용론적 추론이 규모나 아키텍처의 정교함의 자동적 부산물이 아니라, 인공지능 시스템의 인지 도구상에서 출현하는 능력이라고 주장합니다. 연구 결과에 따르면 인간과 유사한 추론을 달성하려면 현재 데이터 기반 시스템에서 완전히 실현되지 않은 맥락 통합 및 관련성 추론 메커니즘이 필요합니다. 또한, 광범위한 분류 레이블 (예: "추론 지향" 또는 "MoE") 이 수행을 예측하지 못한다는 사실은 화용론적 능력이 고수준 설계 선택이 아니라 불투명한 내부 요인에 의존하는 모델 고유의 속성임을 시사합니다. 저자들은 화용론적 추론이 아직 완전히 출현하지는 않았지만 본질적으로 달성 불가능한 것은 아니며, 더 풍부한 세계 기반이나 상호작용 학습 환경을 통해 개발될 수 있다는 겸손한 입장을 견지합니다.