Parallelograms Strike Back: LLMs Generate Better Analogies than People

논문 개요

이 연구는 4 항어 단어 유추 (A:B::C:D) 를 기하학적으로 모델링하는 전통적인 **'평행사변형 모델 (Parallelogram Model)'**이 인간의 유추 생성 능력을 설명하는 데 실패했다는 최근의 주장 (Peterson et al., 2020) 을 재검토합니다. 저자들은 평행사변형 모델이 유추 관계 자체를 잘못 모델링한 것인지, 아니면 인간이 관계 보존형 유추를 생성하는 데 서툴러서인지 구분하기 위해, 대규모 언어 모델 (LLM) 과 인간의 유추 생성 능력을 비교 분석했습니다.

1. 연구 문제 (Problem)

• 배경: 전통적인 평행사변형 모델은 개념을 기하학적 공간의 점으로, 관계를 벡터로 표현하여 $A:B::C:?$ 문제를 $C + (B-A)$로 해결한다고 가정합니다.
• 쟁점: Peterson et al. (2020) 은 인간이 생성한 유추 데이터에서 평행사변형 모델보다 단순한 국소적 유사성 (Local Similarity, 예: C 와 유사한 단어 선택) 휴리스틱이 인간의 응답 분포를 더 잘 설명한다고 주장했습니다.
• 가설: 이는 기하학적 모델의 결함 때문일 수도 있지만, 인간이 인지적 부담이나 시간 제약으로 인해 최상의 관계적 유추를 생성하지 못하기 때문일 수도 있습니다.
• 목표: LLM 이 인간보다 더 우수한 유추를 생성하는지, 그리고 그 차이가 평행사변형 모델이나 국소적 유사성 모델로 설명 가능한지 확인합니다.

2. 방법론 (Methodology)

• 데이터셋: Peterson et al. (2020) 의 846 개 단어 유추 문제 (Green et al., 2010; Kmiecik & Morrison, 2013; Jurgens et al., 2012 의 SemEval-2012 데이터 포함) 를 사용했습니다.
• 모델: 6 개의 최첨단 LLM(GPT-5-mini, o4-mini, DeepSeek-V3.1, Qwen3 시리즈, Gemma-3) 을 사용하여 각 문제에 대해 40 번씩 응답을 생성했습니다 (총 203,040 개의 응답).
• 인간 평가: 390 명의 참가자를 모집하여 생성된 LLM 과 인간의 응답 (D) 이 원래 관계 (A:B) 를 얼마나 잘 보존하는지 7 점 척도로 평가했습니다.
• 분석 지표:
  • GloVe 임베딩: 300 차원 GloVe 벡터를 사용하여 응답의 의미적 공간 위치를 분석했습니다.
  • 예측 모델 비교: 평행사변형 모델, C:D 유사성 (C 와의 유사도), 최단 거리 이웃 (NN) 휴리스틱이 인간과 LLM 응답 분포를 얼마나 잘 예측하는지 **누적 회수 비율 (CPR)**로 측정했습니다.
  • 회귀 분석: 유추의 질적 평가 점수 차이를 예측하는 요인 (평행사변형 정렬도, 단어 빈도, 국소적 유사성) 을 분석했습니다.

3. 주요 결과 (Key Results)

가. LLM 이 생성한 유추가 인간보다 더 우수함

• 인간 참가자들은 LLM 이 생성한 유추를 인간이 생성한 유추보다 통계적으로 유의미하게 더 높은 점수로 평가했습니다.
• 특히 GPT-5-mini 와 o4-mini 모델이 인간 대비 가장 큰 우위를 보였습니다.

나. 평행사변형 모델의 재평가

• LLM 응답 예측: 세 가지 모델 (평행사변형, C:D 유사성, NN) 모두 LLM 응답을 인간 응답보다 더 잘 예측했습니다.
• 모델 간 격차 축소: Peterson et al. (2020) 의 인간 데이터에서는 국소적 유사성 모델이 평행사변형 모델보다 훨씬 우세했으나, LLM 에서는 두 모델 간의 성능 격차가 인간보다 훨씬 작았습니다. 이는 LLM 이 인간보다 평행사변형 구조에 더 부합하는 응답을 생성함을 시사합니다.

다. LLM 의 우위 요인 분석

• 평행사변형 정렬도 (Parallelogram Alignment): LLM 응답이 GloVe 공간에서 평행사변형 관계 ($B-A \approx D-C$) 를 더 잘 따를수록 인간 평가 점수가 높았습니다.
• 단어 접근성 (Lexical Accessibility): LLM 은 인간보다 **더 낮은 빈도 (Less Accessible)**의 단어를 사용하는 경향이 있었으며, 이러한 드문 단어가 포함된 유추일수록 평가 점수가 높았습니다.
• 국소적 유사성의 부정적 영향: C 와 D 의 국소적 유사성이 높을수록 오히려 LLM 의 점수 우위가 감소하는 경향이 있었습니다. 즉, 단순히 C 와 비슷한 단어를 고르는 것은 좋은 유추의 지표가 아닙니다.

라. 내부 표현 vs. 외부 평가

• LLM 의 내부 레이어 (Residual Stream) 에서 추출한 임베딩으로 평행사변형 정렬도를 계산했을 때, GloVe 와 같은 외부 분포적 임베딩 공간에서의 정렬도가 인간 평가 점수를 더 잘 예측했습니다.
• 이는 LLM 이 내부적으로 명시적인 기하학적 벡터 연산을 수행하기 때문이라기보다, LLM 이 생성한 응답이 인간이 '좋은 유추'로 인식하는 평행사변형 패턴을 더 잘 충족시키기 때문임을 시사합니다.

마. 분포의 차이 (Long Tail vs. Modal)

• 인간의 분포: 인간 응답은 매우 분산되어 있으며, 빈도가 낮은 약한 응답 (Long Tail) 이 많습니다.
• LLM 의 분포: LLM 은 소수의 주된 응답 (Modal) 에 집중하는 경향이 있습니다.
• 핵심 발견: 가장 빈번하게 생성된 응답 (Modal Responses) 만을 비교할 때 LLM 과 인간의 점수 차이는 사라집니다. 즉, LLM 의 우위는 전반적인 응답 품질이 인간보다 월등히 높아서가 아니라, 인간이 생성하는 저품질의 긴 꼬리 (Long Tail) 응답이 평균을 끌어내리기 때문입니다.
• 하지만 모달 응답만 비교해도, 평행사변형 정렬도가 높고 단어 빈도가 낮은 LLM 응답이 여전히 더 높은 평가를 받았습니다.

4. 기여 및 의의 (Contributions & Significance)

1. 평행사변형 모델의 부활: 평행사변형 모델이 인간이 유추를 생성하는 방식을 설명하는 데는 부족할 수 있지만, 인간이 어떤 유추를 좋은 것으로 판단하는지를 설명하는 강력한 모델임을 재확인했습니다.
2. 인간 vs. AI 의 인지적 차이: 인간은 인지적 제약으로 인해 관계적 일관성이 떨어지거나 접근 가능한 단어에 의존하는 경향이 있는 반면, LLM 은 관계적 제약 (Relational Constraint) 을 더 일관되게 준수하는 응답을 생성합니다.
3. 유추 평가의 기준: 좋은 유추는 단순히 관련 단어의 유사성 (Local Similarity) 이 아니라, 관계의 기하학적 구조 (Parallelogram) 를 명확히 반영하고, 동시에 덜 접근 가능한 (드문) 단어를 사용할 때 더 높은 평가를 받습니다.
4. LLM 연구의 함의: LLM 이 복잡한 관계 추론을 수행할 때, 명시적인 기하학적 규칙을 따르는 것은 아니더라도, 분포적 의미 공간에서 인간이 선호하는 패턴을 효과적으로 학습하고 재현할 수 있음을 보여줍니다.

결론

이 연구는 LLM 이 인간보다 더 나은 유추를 생성한다는 사실을 증명하고, 그 핵심 원인이 평행사변형 관계 구조에 대한 높은 정렬도와 접근성이 낮은 단어의 사용에 있음을 규명했습니다. 이는 기하학적 유추 모델이 인간의 생성 메커니즘을 완전히 설명하지는 못하더라도, 인간이 인지적으로 선호하는 유추의 구조를 잘 포착하고 있음을 시사하며, LLM 과 인간의 유추 생성 메커니즘 차이를 이해하는 중요한 통찰을 제공합니다.