💬 NLP

NOLLI: A Difficulty-Calibrated Puzzle Benchmark for Diagnosing the English-Korean Performance Gap

이 논문은 절차적으로 생성되고 난이도가 보정된 7,500개의 영어-한국어 퍼즐 과제로 구성된 벤치마크인 NOLLI를 소개하며, 이는 한국어 언어 모델이 직접적인 번역에서는 영어와 대등한 성능을 보이지만 다단계 하위 음절 실행의 어려움으로 인해 문자 체계 집약적 과업에서는 상당한 격차가 발생한다는 점과 더불어, 구조적 과업 크기가 경험적 난이도의 신뢰할 수 없는 대리 지표임을 입증한다.

원저자: Dasol Choi, Joonyong Park, Daegon Yu, Soo Yong Kim, Youngsook Song, Seunghyeok Hong

게시일 2026-08-06

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dasol Choi, Joonyong Park, Daegon Yu, Soo Yong Kim, Youngsook Song, Seunghyeok Hong

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터가 인간처럼 읽고, 쓰고, 생각하는 법을 배우고 있는 세상을 상상해 보세요. 오랫동안 과학자들은 이 "대규모 언어 모델(LLM)"들이 진정으로 논리를 이해하고 있는지, 아니면 그저 패턴을 암기하고 있는 것인지 확인하기 위해 까다로운 퍼즐로 이들을 테스트해 왔습니다. 하지만 한 가지 문제가 있습니다. 대부분의 이러한 테스트가 영어로 작성되어 있다는 점입니다. 우리가 동일한 모델을 한국어와 같은 다른 언어로 테스트하려고 하면, 점수가 종종 떨어지곤 합니다. 이는 큰 의문을 제기합니다. 컴퓨터가 새로운 언어에 서툰 것일까요, 아니면 글자의 구조나 단어 뒤에 숨겨진 문화적 규칙과 같은 더 깊은 무언가 때문에 어려움을 겪고 있는 것일까요? 이를 해결하기 위해서는 게임의 난이도가 아닌 오직 언어만이 변수가 되는 공정한 운동장이 필요합니다.

여기에 AI가 왜, 그리고 정확히 어디에서 한국어에 어려움을 느끼는지 밝혀내기 위해 특별히 설계된 새로운 논리 퍼즐 세트인 NOLLI가 등장합니다. NOLLI를 거대하고 절차적으로 생성되는 장애물 코스라고 생각해 보세요. 연구진은 기존의 낡은 수수께끼를 사용하는 대신, 스도쿠 격자부터 암호 해독까지 수천 개의 고유한 퍼즐을 즉석에서 만들어낼 수 있는 기계를 구축했습니다. 여기서 마법 같은 기술은 바로 "보정(calibration)"입니다. 보통 퍼즐을 "더 어렵게" 만든다는 것은 격자를 더 크게 만들거나 단어를 더 많이 추가하는 것을 의미합니다. 하지만 NOLLI 팀은 격자가 커진다고 해서 반드시 컴퓨터에게 더 어려워지는 것은 아니라는 사실을 깨달았습니다. 그래서 그들은 특정 "기준" 컴퓨터가 정해진 정답률(쉬움 75%, 중간 50%, 어려움 25%)을 기록할 때까지 퍼즐 생성기를 라디오 다이얼을 돌리듯 미세하게 조정했습니다. 이를 통해 영어를 비교할 때 사과와 사과를 비교하는 것이지, 사과와 오렌지를 비교하는 것이 아님을 보장했습니다.

연구팀은 가장 똑똑하다고 알려진 "프런티어" 모델부터 규모가 작은 오픈 소스 모델에 이르기까지 15개의 서로 다른 AI 모델을 테스트했습니다. 그들은 퍼즐을 세 가지 단계로 나누었습니다. 첫 번째 단계는 **직접 번역(Direct Translations)**으로, 영어와 한국어로 똑같이 작성된 퍼즐입니다. 두 번째 단계는 **문자 적응(Script Adaptations)**으로, 영어 알파벳 대신 한국어 알파벳의 구성 요소인 '자모'를 사용하는 퍼즐입니다. 세 번째 단계는 **한국어 전용(Korean-Only)**으로, 복잡한 가족 관계나 전통 달력 계산처럼 한국 문화에 의존하는 퍼즐들입니다.

결과는 다음과 같았으며, 이는 일종의 반전이었습니다. 첫째, 언어 자체가 악당은 아니었습니다. 퍼즐이 단순히 영어와 한국어로 직접 번역되었을 때, AI는 영어와 거의 동일하게 수행했습니다. 그 격차는 매우 작았으며, 이는 단순히 한국어를 읽는 것 자체가 모델을 방해하는 것이 아님을 시사합니다. 그러나 퍼즐이 한국어 쓰기 체계를 조작해야 할 때 문제가 시작되었습니다. 한국어 글자의 하위 음절 단위(sub-syllabic parts)를 사용하여 메시지를 해독해야 하는 "한국어 암호(Korean Cipher)" 게임에서, 일부 모델은 성능이 완전히 무너졌으며 영어 성능에 비해 최대 68.7 퍼센트 포인트까지 하락했습니다. 흥ًا, 동일한 글자를 사용하되 이를 단순한 기호로 취급했을 때는 성능 저하가 나타나지 않았습니다. 이는 문제가 글자 자체에 있는 것이 아니라, 글자를 분해하고 다시 결합하는 데 필요한 복잡한 다단계 정신적 체조에 있음을 시사합니다.

마지막으로, 연구팀은 한국어 전용 문화 퍼즐을 살펴보았습니다. 그들은 이상한 패턴을 발견했습니다. 어떤 작업들은 모델에 따라 쉬워지거나 어려워졌지만, 특정 작업 하나—즉, 한국의 가족 호칭(예: 외할아버지의 남동생의 부인)을 파악하는 작업—는 모델이 얼마나 똑똑하든 상관없이 모든 모델에게 어려웠습니다. 가장 뛰어난 AI 모델조차 이 격차를 좁히지 못했습니다. 연구는 AI가 번역에는 능숙해졌을지라도, 한국어의 독특한 구성 요소를 조작하거나 특유의 문화적 규칙을 탐색하는 복잡한 단계별 작업을 수행할 때는 여전히 비틀거린다는 결론을 내립니다. 컴퓨터가 한국어를 읽지 못하는 것이 아니라, 그것을 조작하는 데 필요한 '정신적 춤'을 아직 제대로 배우지 못한 것입니다.

기술 요약: NOLLI – 영어-한국어 성능 격차 진단을 위한 난이도 보정 퍼즐 벤치마크

문제 정의

대규모 언어 모델(LLM)이 언어 생성 능력에서 숙련도를 보임에도 불구하고, 이러한 성능이 진정한 논리적 추론에서 기인한 것인지 아니면 단순한 패턴 매칭의 결과인지에 대해서는 여전히 의문이 남아 있다. 기존의 벤치마크는 두 가지 주요 한계에 직면해 있다. 첫째, 정적인 데이터셋은 데이터 오염 및 포화 위험이 있으며, 둘째, 다국어 평가가 언어별 실패 요인을 하나의 정보 가치가 없는 성능 격차로 뭉뚱그려 나타내는 경우가 많다. 모델이 영어에 비해 한국어에서 낮은 성능을 보일 때, 그 실패의 구체적인 성격—제시된 언어 때문인지, 표기 체계의 메커니즘 때문인지, 혹은 문화적 지식 때문인지—이 불분명하다는 점이다.

방법론

이러한 격차를 해결하기 위해 저자들은 15가지 퍼즐 유형, 25가지 태스크, 7,500개의 아이템으로 구성된 절차적 생성 방식의 영어-한국어 벤치마크인 NOLLI(한국어로 '논리')를 소개한다. 이 벤치마크는 세 가지 핵심적인 방법론적 혁신을 바탕으로 설계되었다:

1. 절차적 생성 및 검증

모든 인스턴스는 시드(seed)를 통해 재생 가능하며, 고유한 해답을 갖도록 결정론적으로 검증된다. 채점은 정답(gold answer)과의 정확한 일치 여부를 확인하는 방식으로 수행되어, LLM 판정자의 필요성을 제거하고 재현성을 보장한다. 이 스위트는 제약 충족(constraint satisfaction), 알고리즘 실행(algorithmic execution), 인과/시간적 추론(causal/temporal reasoning), 조합 최적화(combinatorial optimization), 연역적 추론(deductive inference)의 다섯 가지 추론 패러다임을 포괄한다.

2. 행동 기반 난이도 보정

NOLLI는 구조적 파라미터(예: 그리드 크기)를 통해 난이도를 정의하는 대신, 행동적으로 난이도를 보정한다. 생성기는 고정된 참조 모델(Gemini 3 Flash)이 목표 정확도 대역인 쉬움(75 ± 10%), 중간(50 ± 10%), 어려움(25 ± 10%)에 도달할 때까지 튜닝된다. 이 접근 방식은 이질적인 태스크들을 통일된 행동 척도 위에 배치함으로써, "어려움" 태스크가 구조적 복잡성과 관계없이 경험적으로 어렵다는 것을 보장한다.

3. 3단계 교차 언어 설계

본 벤치마크는 세 가지 구별된 태스크 카테고리를 통해 성능 격차의 구체적인 원인을 분리한다:

직접 번역 (8개 유형): 영어와 한국어 인스턴스는 동일한 생성기 파라미터와 분포를 공유하며, 표면적인 언어만 다르다. 이를 통해 제시 언어 효과에 대한 일치된 추정이 가능하다.
스크립트 적응 (2개 유형): Cipher(암호)와 Cryptarithmetic(암호 산술) 같은 태스크는 한글 표기 체계에 맞게 조정된다. Cipher는 분해와 재조합을 요구하는 한글 자모(음절 하위 단위 글자) 상에서 작동하며, Cryptarithmetic은 자모를 불투명한 기호로 취급한다. 이들은 번역 대응 관계가 아니며, 표기 체계의 요구 사항에 대한 진단적 대조군 역할을 한다.
한국어 전용 태스크 (5개 유형): 여기에는 친족(문화적 친족 용어), 사주(전통 역법), 시간(육십갑자), 한국 전통 단위(전통 측정 단위), 자모 조합(음절 하위 단위 조작)이 포함된다. 이는 한국 특유의 지식이나 표기법과 관련된 병목 현상을 국지화한다.

주요 결과

저자들은 15개의 프런티어 모델, 오픈 웨이트 모델, 그리고 한국 개발 모델들을 평가했다. 전체 정확도가 3% 임계값을 초과하는 12개의 모델 중에서 다음과 같은 결과가 도출되었다:

제시 언어 효과는 미미함: 직접 번역 태스크에서 영어-한국어 정확도 격차는 -2.7에서 +5.0 퍼센트 포인트(pp) 사이였다. 통계적 검정(Holm-corrected TOST) 결과 ±10 pp 범위 내에서 동등성이 확인되었으며, 이는 제시 언어 자체가 큰 비용을 발생시키지 않음을 시사한다.
표기 체계의 병목 현상은 유의미함: 음절 하위 단위 조작을 요구하는 태스크에서 뚜렷한 대조가 나타났다. 한국어 Cipher의 정확도는 영어 대비 최대 68.7 pp 하락했으나, 자모를 불투명한 기호로 취급하는 Cryptarithmetic은 체계적인 페널티를 보이지 않았다. 또한, 자모 조합 정확도는 한국어 Cipher 정확도를 강력하게 예측했다( $R^2 = 0.91$ ). 이는 다단계 음절 하위 단위 실행이 주요 실패 모드임을 나타낸다.
한국어 특화 결핍의 다양성:
- 규칙 적용: 사주 및 시간과 같은 태스크에서의 결핍은 모델마다 방향이 달랐으며(어떤 모델은 한국어 베이스라인보다 성능이 좋았고, 어떤 모델은 더 나빴음), 모델의 전반적인 능력과 단조로운 상관관절을 보이지 않았다.
- 친족: 모든 관계 사슬을 특정 한국어 친족 용어로 매핑해야 하는 친족 태스크에서 12개 모델 모두에서 일관된 양의 결핍(positive deficit)이 관찰되었다. 이 결핍은 모델의 크기나 성능이 증가하더라도 좁혀지지 않았다.
구조적 크기는 신뢰할 수 없는 대리 지표: 15개 퍼즐 유형 중 7개에서, 눈에 띄는 크기 척도(예: 그리드 차원, 시퀀스 길이)가 '쉬움'에서 '어려움'으로 갈 때 커지지 않거나 오히려 감소했음에도 불구하고, 경험적 난이도는 상승했다. 이는 구조적 크기만으로는 추론 난이도를 신뢰성 있게 예측할 수 없음을 입증한다.

의의 및 기여

본 논문은 네 가지 주요 기여를 주장한다:

NOLLI 벤치마크: 특정 추론 실패를 분리할 수 있도록 설계된, 시드 재생 가능하고 검증되었으며 결정론적으로 채점되는 영어-한국어 스위트.
행동 기반 보정: 생성기를 목표 정확도 대역에 맞추어 튜닝함으로써, 다양한 역량의 모델 간에 전이 가능한 난이도 순서를 생성하는 프로토콜.
진단적 격차 분석: 제시 언어 효과(미미함)와 표기 체계 또는 문화적 병목 현상(유의미함)을 구분하여, 후자를 단순한 가산적 인과 효과가 아닌 진단적 효과로 취급하는 프레임워크.
난이도 분류 체계: 경험적 난이도가 단순한 구조적 확장이 아니라 제약 밀도, 방해 요소 밀도, 그리고 절차적 깊이에서 발생한다는 증거.

저자들은 프런티어 모델들이 제시 언어의 장벽은 대체로 극복했으나, 다단계 음절 하위 단위 실행 및 특정 문화적 어휘 태스크에서는 어려움을 겪고 있다고 결론짓는다. 이러한 결핍은 고성능 모델에서도 지속되며, 이는 현재의 LLM 아키텍처가 한국어의 구조적, 문화적 뉘앙스를 다루는 데 있어 개선이 필요한 구체적인 영역을 강조한다.