Focus particles and scalar inferences across humans and language models

기술 요약: 인간과 언어 모델 간의 초점 입자와 스칼라 추론

문제 제기 및 동기
본 연구는 인지 과학 및 자연어 처리 분야의 핵심적인 질문, 즉 인간과 인공 시스템이 구조화된 의미, 특히 even(조차) 및 only(만)와 같은 초점 민감 입자(focus-sensitive particles)를 어떻게 해석하는지를 다룬다. 이러한 입자들은 핵심적인 명제적 내용은 변경하지 않으면서, 대안에 대한 기대치(예: even은 저확률 대안을 강조하고, only는 배타성을 도입함)를 도입함으로써 문장의 추론된 의미를 수정한다.

주요 이론적 논쟁은 이러한 입자와 관련된 스칼라 판단(scalar judgments)을 구동하는 메커니즘에 관한 것이다. 한 가지 설명은 판단이 **공간 코딩(spatial coding)**에 근거한다고 주장하며, 이는 추상적 크기가 공간적 차원(예: 좌-우 또는 상-하)에 매핑된다고 본다. 이는 응답 척도의 방향이 판단에 체계적인 영향을 미쳐야 함을 시사한다(Dehaene et al., 1993). 또 다른 설명인 **극성 대응 원리(polarity correspondence principle)**에 기반한 관점은 판단이 평가적 및 언어적 구조에 의해 유도된다고 보며, 이는 입자 간의 차이가 공간적 구성과 관계없이 안정적으로 유지되어야 함을 의미한다(Proctor & Cho, 2006).

대규모 언어 모델(LLM)이 언어 정보에 대한 구조화된 내부 표현을 발달시킨다는 최근의 증거(Kryvosheieva et al., 2025)와 함께, 저자들은 LLM이 인간과 유사한 스칼라 판단 패턴을 보이는지 조사한다. 결정적으로, 신체화된 상호작용에 의해 공간적 표현이 형성되는 인간과 달리, 트랜스포머 기반 모델은 양방향 어텐션(Vaseline et al., 2017)을 통해 토큰을 동시에 처리한다. 본 연구는 유사한 스칼라 판단이 공유된 표현 원리로부터 발생하는지, 아니면 서로 다른 기저 메커니즘으로부터 발생하는지를 테스트한다.

연구 방법
연구진은 네 가지 응답 척도 구성에 걸쳐 인간 참가자와 LLM을 대상으로 비교 연구를 수행하였다.

• 자극(Stimuli): 능력 관련 과업을 기술하는 60개의 문장(예: "Mike can bake a cake"). 30개 항목에는 입자 even이 포함되었고, 30개 항목에는 only가 포함되었다.
• 인간 참가자: $N = 108$명의 참가자가 네 가지 Qualtrics 연구 중 하나를 완료하였다.
• 실험적 조작: 응답 척도의 공간적 구성을 두 가지 차원에 따라 조작하였다:
  1. 공간 형식(Spatial Format): 가로형 vs. 세로형.
  2. 레이블 매핑(Label Mapping): 표준형(낮은 능력을 왼쪽/하단, 높은 능력을 오른쪽/상단에 배치) vs. 역전형(레이블 반전).
     이를 통해 가로-표준, 가로-역전, 세로-표준, 세로-역전의 네 가지 조건을 도출하였다.
• 절차: 참가자들은 5점 리커트 척도를 사용하여 문장에 나타난 개인의 능력을 평가하였다.
• LLM 데이터 수집: Llama 3.3 70B를 Groq API를 통해 사용하여 데이터를 수집하였다. 각 자극은 인간 설문 구조를 모사한 프롬프트 형태로 제시되었다. 모델은 단일 정수(1–5)를 출력하도록 지시받았다. 모델의 응답 분포로부터 샘플링하기 위해, 각 프롬프트는 온도(temperature) 1.0에서 20회 실행되어 총 4,800개의 관측치(60개 문장 $\times$ 4개 조건 $\times$ 20개 샘플)를 생성하였다.

결과
평가(Ratings)는 입자(Particle), 출처(Source, 인간 vs. LLM), 형식(Format), 매핑(Mapping)을 고정 효과로 하는 선형 혼합 효과 모델(linear mixed-effects model)을 사용하여 분석되었다.

• 입자 효과: 유의미한 입자의 주효과가 발견되었다 ($\beta= 2.20, p < .001$). 인간과 LLM 모두 even 문장에는 낮은 점수를, only 문장에는 높은 점수를 부여하였다.
• 출처 차이: 유의미한 Particle $\times$ Source 상호작용($\beta= 1.38, p < .001$)은 LLM이 더 극단적인 판단을 내린다는 것을 보여주었다.
  • 인간: even의 평균은 2.07, only의 평균은 4.31이었다 (차이: 2.20).
  • LLM: even의 평균은 1.41, only의 평균은 5.00이었다 (차이: 3.58).
    특히, only 문장에 대해 LLM은 모든 조건에서 100%의 관측치 동안 최대 점수(5)를 부여하였다.
• 공간 효과: 응답 척도의 방향이나 레이블 매핑을 변경해도 두 집단 모두에서 판단 패턴이 사라지거나 역전되지 않았다. 이는 스칼라 판단이 공간적 배치보다는 의미적 및 평가적 내용에 의해 유도됨을 시사한다.
• 변동성: LLM은 인간보다 실질적으로 낮은 응답 변동성을 보였다. 온도 1.0에서도 반복적인 샘플링은 매우 일관된 응답을 생성하였다. 후속 온도 스윕(0.0 ~ 2.0) 결과, 모델 응답이 안정적으로 유지됨을 확인하였으며, 이는 온도를 높이는 것만으로는 인간과 같은 변동성을 생성하기에 불충분함을 나타낸다.

주요 기여

1. 스칼라 판단의 메커니즘: 본 연구는 공간 코딩 설명보다 평가적 설명이 스칼라 판단에 더 부합한다는 경험적 근거를 제공한다. 공간적 구성 전반에 걸친 판단의 안정성은 even과 only의 의미 구조가 응답 옵션의 공간적 조직보다 해석에 더 강력하게 작용함을 시사한다.
2. LLM vs. 인간 인지: 본 논문은 LLM이 인간의 집단적 행동 패턴(질적 경향성)을 재현할 수는 있지만, 응답 변동성 측면에서는 크게 괴리가 있음을 보여준다. 범주적이고 극단적인 판단을 내리는 LLM의 경향은 점진적이고 가변적인 인간의 반응과 대조된다.
3. 샘플링의 한한계: 연구 결과는 높은 온도에서의 반복적인 샘플링이 인간의 개별 차이를 시뮬레이션할 수 있다는 가설에 의문을 제기한다. 저자들은 모델 실행 간의 변동성이 고정된 판단 주변의 노이즈를 반영하는 반면, 인간의 변동성은 해석에 대한 진정한 개별 차이를 반영한다고 주장한다.

의의 및 주장
저자들은 LLM의 응답 변동성 결여가 개별 차이가 인간 행동의 정의적 특징임을 고려할 때, 현재의 LLM을 인간 인지의 모델로 적합하게 볼 수 있는지에 대한 의문을 제기한다고 결론짓는다. 본 논문은 현대의 LLM이 평균적인 과업 수행 능력은 잘 맞추더라도, 인간 집단에서 관찰되는 변동성의 폭을 재현하는 데 실패한다는 최근의 연구 결과들(Qiu et al., 2025; Rodriguez et al., 2026)과 궤를 같이한다. 본 연구는 LLM이 스칼라 추론의 구조적 논리는 포착할 수 있으나, 인간 판단의 확률적(stochastic) 특성은 아직 모델링하지 못하고 있음을 완곡하게 시사한다.