기술 요약: ADAGE – 유추 추론 평가를 위한 언어 불가지론적 파이프라인

1. 문제 정의

현재의 다국어 추론 평가는 영어 중심 벤치마크를 기계 번역하는 방식에 압도적으로 의존하고 있다. 저자들은 이러한 관행이 두 가지 근본적인 결함으로 인해 "다국어 역량에 대한 환상(illusion of multilingual competence)"을 만들어낸다고 주장한다:

1. 언어적 인위성(Linguistic Artifacts): 기계 번역은 부자연스러운 문구("번역투")와 미묘한 오류를 도입하여 측정을 혼란스럽게 하며, 이로 인해 모델의 실패가 추론 능력의 부족이 아닌 번역 품질의 저하를 반영하게 만든다.
2. 문화적 전치(Cultural Displacement): 번역은 소스 문화의 가정을 보존하는 동시에 대상 문화의 추론 패턴은 버린다. 속담을 포함한 추상적 유추 추론은 문화적으로 공유된 은유와 규범에 의존하며, 이는 전이될 수 없다. 결과적으로, 번역 기반 벤치마크는 모델이 다른 문화적 틀 내에서 추론하는 능력이 아니라, 영어 중심의 유추를 다른 언어로 적용하는 능력을 테스트하게 된다.

기존의 원어 작성 벤치마크(예: MultiNRC, Jawaher, ProverbEval)는 이러한 격차를 해결하려 하지만, 단일 언어를 위해 임시방편(ad hoc)으로 구축되어 재현 가능한 파이프라인이 부족하며, 대부분 속담 설명(지식 검색)을 테스트할 뿐 유추 적용(추상적 의미를 새로운 시나리오에 매핑)을 테스트하지는 않는다.

2. 방법론: ADAGE 파이프라인

저자들은 번역 없이 문화적으로 뿌리 깊은 추론 벤치마크를 구축하기 위해 설계된 언어 불가지론적이며 반합성적인(semi-synthetic) 파이프라인인 ADAGE(Analogical Difficulty-by-design Assessment for Grounded Evaluation)를 소개한다. 이 파이프라인은 7단계로 작동한다:

1. 데이터 획득: 원어 속담 코퍼스의 정규화 및 중복 제거.
2. 주제별 클러스터링:
   • Pass 1: LLM이 원어 설명을 바탕으로 각 속담에 간결한 영어 주제 레이블을 할당한다. 강력한 지시 이행 능력을 활용하기 위해 영어는 중간 타겟으로 사용된다.
   • Pass 2: 주제 레이블을 다국어 문장 트랜스포머(sentence-transformer)로 임베딩하고 응집형 클러스터링(agglomerative clustering, Ward's linkage)을 통해 그룹화한다. 클러스터 수($k$)는 가중 실루엣 계수(weighted silhouette coefficient)를 최대화하도록 최적화된다.
   • Pass 3: 클러스터에 기술적인 이름을 부여한다.
   • 설계 근거: 원문 텍스트가 아닌 추상적인 주제 레이블을 기준으로 클러스터링함으로써 표면적인 어휘 유사성을 피하고, 주제적으로 일관된 그룹을 보장한다.
3. 시나리오 생성: LLM(GPT-OSS-120B)이 속담당 10개의 후보 시나리오를 생성한다. 이들은 속담의 의미를 10개의 순환하는 사회적 영역(예: 직장, 가족, 정치)에 걸쳐 유추를 통해 보여주는 짧고 현대적인 서사이다.
4. 자동 필터링: 시나리오는 언어 식별, 길이, 키워드 중복(어휘 누출 방지), 그리고 속담과의 임베딩 유사성을 기준으로 필터링된다.
5. 인간 품질 감사: 원어 화자에 의한 경량화된 건전성 검사를 통해 일관성과 문화적 적절성을 확인한다.
6. 오답 선택 및 MCQ 조립: 새로운 오답 전략을 통해 각 객관식 문제(MCQ)에 대해 통제된 난이도 구배(difficulty gradient)를 구축한다:
   • 동일 클러스터 오답(Same-Cluster Distractor): 동일한 주제 클러스터에서 가져온 속담 (주제적 혼란 함정).
   • 교차 주제 유사 항목(Cross-Theme Near-Match): 다른 클러스터에서 임베딩 유사도가 가장 높은 속담 (표면 유사성에 의존하는 모델을 함정에 빠뜨림).
   • 무작위 클러스터 오답(Random-Cluster Distractor): 먼 클러스터에서 가져온 속담 (기초적인 그럴듯함).
   • 임베딩 유사도가 높은(>0.85) 후보는 근사 동의어(near-synonyms)를 방지하기 위해 제외된다.
7. 멀티 에이전트 검증: 세 명의 오픈 웨이트 LLM 심사위원이 충실성, 자연스러움, 오답의 그럴듯함을 1~5점 리커트 척도로 평가한다. 점수가 임계값 미만이거나 심사위원 간 합의가 낮은 항목은 플래그가 지정된다.
8. 데이터셋 큐레이션: 속담-주제 연관성의 암기를 방지하기 위해 속담 단위로 최종 훈련/개발/테스트 분할을 생성한다.

3. 주요 기여

1. ADAGE 파이프라인: 번역 인프라 없이도 문화적으로 뿌리 깊은 추론 벤치마크를 구축할 수 있는 재현 가능한 언어 불가지론적 방법론을 제공하며, 세 가지 유형학적으로 다양한 언어에 대해 검증되었다.
2. 세 가지 새로운 벤치마크: CAPR-ar(아랍어), CAPR-am(암하라어), CAPR-ja(일본어)를 출시하였다. 이들은 해당 특정 언어들을 대상으로 추상적 유추 속담 추론을 겨냥한 최초의 벤치마크이다.
3. 문화적 추론 격차의 실증적 증거: 번역 기반 평가가 다국어 추론 능력을 상당히 과대평가한다는 것을 입증하였다.

4. 실험 결과

파이프라인은 아랍어, 암하라어, 일본어를 위한 벤치마크를 구축하고, 14개의 오픈 웨이트 모델(270M에서 35B 파라미터 범위)을 제로샷 조건에서 평가함으로써 검증되었다.

• 성능 하락: 영어 속담 추론(ePiC 벤치마크)에서 우수한 성능을 보인 모델들이 원어 벤치마크에서는 크게 고전했다. 정확도는 영어 대비 12~52 퍼센트 포인트 하락했다.
  • 아랍어: 최고 성능 모델(Gemma 3 27B)은 70.1%를 달성했다 (영어의 83.0% 대비).
  • 암하라어: 최고 모델이 단 41.3%를 기록하여, 무작위 확률인 25%보다 약간 높은 수준을 보였으며, 이는 진정한 저자원 환경에서의 실패를 나타낸다.
  • 일본어: 최고 모델이 93.0%를 달성했으나, 저자들은 이것이 높은 사전 학습 범위와 교차 언어적 동계어(cognates)의 영향일 수 있다고 언급했다.
• 스케일링 동작:
  • 아랍어: 모델 크기에 따라 로그 선형 스케일링 이득을 보였다.
  • 일본어: 한계 효용 체감 현상을 보였다; 스케일링이 이득을 주긴 했으나 정체기에 도달했다.
  • 암하라어: 스케일링 효과가 거의 사라졌으며, 모델들이 크기와 상관없이 무작위 확률 근처에 군집했다. 이는 언어 능력의 병목 현상이지 추론 능력의 문제가 아님을 시사한다.
• 오답 분석: 오답 전략이 설계대로 작동했다. 아랍어와 일본어의 경우, "교차 주제 유사 항목" 오답이 가장 높은 오답률을 유발하여 명확한 난이도 구배를 형성했다. 암하라어의 경우 분포가 평탄했으며, 이는 무작위 추측과 일치한다.
• 위치 편향(Position Bias): 작은 모델(예: Gemma 3 270M)은 심각한 위치 편향(D 옵션을 89.6% 확률로 선택)을 보인 반면, 더 큰 모델(>4B)은 균등한 분포를 보였다.

5. 의의 및 주장

본 논문은 ADAGE가 번역 인프라 없이도 원어 화자 커뮤니티가 엄격하고 난이도가 통제된 추론 벤치마크를 구축할 수 있게 하는 첫 번째 방법론이라고 주장한다.

이 연구의 주요 의의는 일관된 문화적 추론 격차를 밝혀낸 데 있다. 저자들은 "다국어" 성능이 단일 능력이 아니라, 언어별로 수 배 이상의 차이가 나는 언어 특화적 역량의 복합체라고 주장한다. 구체적으로:

• 번역 기반 평가는 저자원 환경에서 모델이 문화적으로 뿌리 깊은 과제에 참여할 수 있는 언어적 역량이 부족하다는 사실을 은폐한다 (암하라어 결과에서 입증됨).
• 고자원 환경(아랍어)에서도 모델은 영어로부터의 추론 능력을 원어 맥락으로 전이하는 데 실패하며, 이는 현재의 모델들이 강건하고 문화 독립적인 추론이 아닌 영어 중심의 휴리스틱에 의존하고 있음을 시사한다.
• 이 격차는 파라미터 스케일링만으로는 좁혀지지 않는다. (Aya Expanse와 같은) 표적화된 다국어 학습 데이터 구성이 모델 크기만큼이나 결정적이다.

저자들은 번역에 의한 평가는 다국어 추론 능력을 실질적으로 과대평가하며, 서로 다른 문화적 스키마 내에서 추론하는 모델의 능력을 정확히 평가하기 위해서는 원어 기반의 번역 없는 벤치마크가 필수적이라고 결론짓는다.