기술 요약: 텍스트 언캐니 밸리

문제 제기

기존의 대규모 언어 모델 (LLM) 벤치마크는 주로 문법적으로 정제된 입력에 대한 성능을 평가하여, 불완전하고 큐레이션되지 않은 텍스트를 모델이 어떻게 처리하는지에 대한 이해에 큰 격차를 초래하고 있습니다. 광학 문자 인식 (OCR) 을 통해 처리된 문서나 웹 소스에서 복사된 콘텐츠와 같은 실제 시나리오에서는 int er nation al과 같은 단어 내부에 삽입된 불필요한 공백을 포함한 포맷팅 아티팩트가 빈번하게 발생합니다. 이전 연구들은 LLM 의 노이즈, 오타, 그리고 문자 단위 교란에 대한 견고성을 검토해 왔으나, 이러한 연구들은 일반적으로 단조로운 저하를 보고합니다: 노이즈가 증가함에 따라 성능이 감소한다는 것입니다.

본 논문은 두 문서 버전 간의 정확한 스패너 (span) 수준 매칭이 필요한 작업에서 단어 경계 손상에 대한 특정 격차를 다룹니다. 저자들은 단어 분할과 모델 성능 간의 관계가 엄격히 단조적인지, 아니면 특히 정확한 어휘 정렬이 필요한 작업에서 더 복잡한 역학이 존재하는지 조사합니다.

방법론

저자들은 단어 내부 분할의 효과를 연구하기 위해 통제된 교란 프레임워크를 제안합니다.

• 교란 설계: 이 방법은 연속된 비공백 문자 시퀀스 (단어) 내부에 공백 문자를 삽입하는 것을 포함합니다. 조정 가능한 매개변수인 word_fragmentation_rate($p \in [0, 1]$) 는 단어 내부 슬롯에서 공백을 삽입할 확률을 제어합니다. 이 비율은 0.0(정제된 텍스트) 에서 1.0(모든 문자가 공백으로 분리됨) 까지 11 개의 이산적 수준을 거쳐 스윕됩니다.
• 데이터셋: 실험은 세 가지 서로 다른 도메인에서 수행됩니다:
  1. 법률 문서: 전문가가 주석을 단 상업용 계약서 (CUAD-QA).
  2. GitHub 풀 리퀘스트: 밀집된 비공백 식별자를 포함하는 코드 diff.
  3. 수학적 추론: 긴 문서로 연결된 GSM8K 문제.
• 평가 작업: 원본 문서와 수정된 문서 간의 정확한 줄 단위 정렬이 필요한 두 가지 작업:
  1. 부재 감지: 의도적으로 텍스트에서 누락된 줄을 식별합니다.
  2. NIAH 스타일 삽입 감지: 텍스트에 삽입된 줄을 식별합니다 ("Haystack 속의 바늘" 패러다임을 스패너 매칭에 맞게 적용).
• 모델: DeepSeek-V3, Grok-4.1-Fast, Qwen3-Plus, Gemini 3.0 Flash, GPT-5.2, Claude 4.5 Haiku를 포함한 여덟 가지 모델 변형이 평가되었습니다. 성능은 대소문자를 구분하지 않는 정확한 매칭을 기반으로 한 Micro-F1 로 측정됩니다.

주요 발견: 텍스트 언캐니 밸리

단조로운 저하에 대한 기대와 달리, 이 연구는 세 가지 특정 모델 계열 (Gemini 3.0 Flash, GPT-5.2, Claude 4.5 Haiku) 에서 두 가지 작업과 대부분의 도메인에 걸쳐 비단조적인 U 자형 성능 곡선을 드러냅니다.

• 곡선: word_fragmentation_rate 가 0 에서 증가함에 따라 Micro-F1 성능이 저하되어 중간 정도의 분할률에서 최소값 (밸리) 에 도달한 후, 극단적인 분할률 (1.0 에 근접) 에서 부분적으로 회복됩니다.
• 현상: 저자들은 이를 텍스트 언캐니 밸리라고 명명합니다. 이는 텍스트가 완전히 자연스럽지도 않고 균일하게 분할되지도 않은 상태로, 모델을 성능이 가장 나쁜 무질서한 과도기 상태에 놓이게 합니다.
• 도메인 변이: U 자형 곡선은 법률 및 수학 도메인의 부재 감지에서 가장 두드러집니다. GitHub PR 의 경우, 모델들은 종종 밀집된 식별자 시퀀스를 분해하는 것이 과도한 분할이 이점을 압도하기 전에 파싱을 초기에 돕기 때문에 낮은 분할률에서 초기 성능 상승을 보이다가 이후 감소하는 경향을 보입니다.
• 모델 의존성: 모든 모델이 이 행동을 보이는 것은 아닙니다. Grok-4.1-Fast 는 대체로 단조로운 감소를 보였습니다. Qwen3-Plus 와 DeepSeek-V3 는 불규칙한 패턴을 보이거나 높은 분할률에서 API 오류를 겪었습니다.

가설과 설명적 증거

저자들은 U 자형 곡선을 설명하기 위해 이중 체제 가설을 제안합니다:

1. 단어 수준 체제: 낮은 분할률에서 서브워드 토크나이저는 익숙한 다중 문자 토큰을 생성하며, 모델은 어휘 단위를 통해 텍스트를 처리합니다.
2. 문자 수준 체제: 극단적인 분할률 ($p \approx 1.0$) 에서 토크나이징은 단일 문자로 축소되어, 모델이 의미론을 복원하기 위해 문자 수준의 패턴 매칭에 의존하도록 강제합니다.
3. 밸리: 성능 최소값은 분할이 불규칙한 과도기 영역에서 발생합니다. 단어들이 일관성 없이 산산조각 나게 되며, 모델은 안정적인 단어 수준 전략이나 일관된 문자 수준 전략 중 어느 하나에 전념할 수 없어 "체제 충돌"이 발생합니다.

지지 실험:

• 인-컨텍스트 학습 (ICL): 분할된 텍스트의 퓨샷 (few-shot) 예시를 제공하는 것은 밸리 바닥의 성능을 구제하지 못했으며, 이는 병목 현상이 작업 전략의 부재가 아니라 더 낮은 수준의 토크나이징 문제임을 시사합니다.
• 고정 슬롯 분할: 분할을 규칙적으로 만들었을 때 (단어의 첫 번째 슬롯에만 공백을 삽입), U 자형 곡선은 상당히 감소하거나 제거되었습니다. 이는 분할의 크기가 아니라 불규칙성이 밸리를 주도함을 확인시켜 줍니다.
• 단어 간 vs 단어 내부: 단어 사이의 공백을 추가 공백으로 무작위 교체하는 것은 밸리를 유발하지 않았으며, 이는 연속된 비공백 시퀀스 (서브워드 토크나이징) 의 교란이 인과적 요인임을 확인시켜 줍니다.
• 수학 추론 통제: 교차 문서 정렬 요구 사항이 없는 직접적인 수학 추론 작업 (GSM8K) 에서 U 자형 곡선은 Gemini 3.0 Flash 에서는 지속되었으나 GPT-5.2 와 Claude 4.5 Haiku 에서는 사라졌으며, 이는 정확한 어휘 정렬에 덜 의존하는 작업일 때 효과가 감쇠됨을 시사합니다.
• 토크나이징 엔트로피: 토큰-ID 분포 엔트로피 분석은 엔트로피가 F1 최소값보다 낮은 분할률에서 정점을 찍음을 보여주었습니다. 이는 밸리가 최대 토큰 혼란의 지점이 아니라 두 처리 체제 간의 불안정한 과도기임을 지지합니다.

중요성과 함의

이 논문은 노이즈가 있거나 큐레이션되지 않은 텍스트와 관련된 배포 시나리오에 직접적으로 관련되어 있는 정제된 텍스트 벤치마크에는 보이지 않는 고장 모드를 드러낸다고 주장합니다.

• 중등도 손상이 가장 위험함: 연구 결과는 OCR 아티팩트와 같은 중등도의 단어 경계 손상이 극단적인 손상보다 LLM 성능에 더 치명적임을 시사합니다. 시스템은 정제된 텍스트나 완전히 손상된 텍스트에는 견고할 수 있지만, "언캐니"한 중간 영역에서는 치명적으로 실패할 수 있습니다.
• 벤치마킹 격차: 정제된 입력이나 이산적인 노이즈 수준에 의존하는 현재 벤치마크는 이러한 비단조적 취약성을 놓칠 수 있습니다.
• 실용적 관련성: 이 현상은 입력 텍스트 품질이 변하는 문서 처리 파이프라인, OCR 시스템, 그리고 LLM-as-a-judge 평가자에게 위험을 초래합니다. 저자들은 정제된 텍스트와 균일하게 손상된 텍스트 사이의 모호한 중간 체제를 명시적으로 다루는 견고성 벤치마크를 주장합니다.

이 연구는 텍스트 언캐니 밸리가 단어 수준과 문자 수준 처리 모드 사이의 불안정한 과도기를 나타내며, 긴 컨텍스트에 걸친 정확한 어휘 정렬이 필요한 작업에 특히 심각한 고장 모드임을 결론지었습니다.