Exploring the Capability Boundaries of LLMs in Mastering of Chinese Chouxiang Language

논문 요약: 중국어 '추상화 (Chouxiang Language)' 이해를 위한 LLM 의 능력 한계 탐구

1. 문제 제기 (Problem)

• 배경: 대형 언어 모델 (LLM) 은 일반적인 자연어 처리 (NLP) 작업에서 뛰어난 성과를 거두었으나, 중국 인터넷 문화의 대표적인 하위 문화 언어인 **'추상화 (Chouxiang Language, 抽象话)'**에 대한 성능은 거의 연구되지 않았습니다.
• 추상화의 특징: 추상화는 2015 년경 등장하여 초기에는 검열 회피와 부정적 감정 표현을 위해 사용되었으나, 현재는 이모지, 동음이의어 (Homophones), 시각적 상징, 방언, 인터넷 밈 등을 복합적으로 사용하여 표준 중국어와 형태 및 의미에서 크게 벗어난 독자적인 하위 문화 코드로 진화했습니다.
• 연구 필요성:
  1. 기존 LLM 과 벤치마크가 서구 중심적 (Western-centric) 이며, 비서구 하위 문화 언어에 대한 연구가 부족함.
  2. 기존 연구들이 추상화를 단순히 '독성 언어 (Toxic Language)'나 '교란된 언어'로만 한정하여, 중립적이거나 긍정적인 사회적 상호작용 기능을 간과함.
  3. 기존 밈 (Meme) 연구는 추상화의 복잡한 의미 구조를 포괄하지 못함.
• 핵심 질문: 현재 최첨단 (SOTA) LLM 들은 추상화 언어의 복잡한 의미와 문맥을 얼마나 잘 이해하고 처리할 수 있는가?

2. 방법론 (Methodology)

이 논문은 추상화 언어 평가를 위한 전용 벤치마크인 **'Mouse'**를 제안하고, 이를 통해 다양한 LLM 의 성능을 평가했습니다.

• 데이터셋 구축 (Mouse Benchmark):

  • 크기: 총 1,099 개의 추상화 평가 인스턴스 (CXEI) 로 구성.
  • 데이터 소스: 웹 크롤링 (바이두tie바, bilibili, 위보 등) 과 추상화 문화에 능통한 사용자들을 통한 수동 작성.
  • 주요 속성: 원문 (추상화), 표준 중국어 번역본 (Reference), 표현 구성 요소 (Homophonic, Visual, Semantic), 의도 (8 가지 카테고리), 독성 여부.
  • 분류 체계 (Taxonomy):
    • 표현 구성 요소: 동음이의어 (Homophonic), 시각적 (Visual), 의미론적 (Semantic) 요소로 세분화.
    • 의도 (Intent): 평가/비난, 감정 표현, 일반적 진술, 성적 지시, 유머/밈, 집단 정체성, 촉구, 기타 등 8 가지.

• 평가 작업 (6 가지 NLP 태스크):

  1. 번역 (Translation, TR): 추상화를 표준 중국어로 정확히 번역 (LLM-as-a-Judge 를 통한 점수화).
  2. 표현 구성 요소 분류 (Representational Component Classification, RC): 텍스트에 동음이의어, 시각적, 의미론적 요소가 포함되었는지 이진 분류.
  3. 의도 인식 (Intent Recognition, IR): 텍스트의 화용적 의도 분류.
  4. 독성 탐지 (Toxicity Detection, TD): 은폐된 독성 언어 식별.
  5. 의미 선택 (Meaning Selection, MS): 여러 후보 중 올바른 의미를 선택.
  6. Cloze Completion (CC): 대화 문맥에 맞는 가장 자연스러운 추상화 문장 선택.

• 실험 설정:

  • 모델: Qwen3 시리즈 (0.6B~Max), Mistral 시리즈, GPT-5.2, DeepSeek-V3.2 등 14 개의 다양한 크기의 LLM 평가.
  • 지표: 번역은 LLM-as-a-Judge, 분류 태스크는 Balanced Accuracy, Macro-F1, MCC(혼란 행렬 기반 상관관계) 등을 사용.

3. 주요 기여 (Key Contributions)

1. 하위 문화 언어의 형식화: NLP 커뮤니티에 추상화 언어를 처음 도입하고, 표현 구성 요소와 의도에 대한 체계적인 분류 체계 (Taxonomy) 를 정립함.
2. 최초 벤치마크 제안: 추상화 언어에 특화된 첫 번째 LLM 평가 벤치마크인 Mouse를 개발하여 6 가지 태스크를 통해 모델 능력을 종합적으로 평가함.
3. 심층 분석: SOTA LLM 들의 성능 한계를 실험적으로 증명하고, 그 원인과 번역 품질에 영향을 미치는 요인 (독성, 위장 유형 등) 을 분석함.

4. 실험 결과 (Results)

• 전반적 성능 저하: 현재 SOTA LLM 들은 추상화 언어 처리에서 명확한 한계를 보임. 특히 **번역 (TR)**과 **표현 구성 요소 분류 (RC)**에서 성능이 매우 낮음.
• 작업별 편차:
  • 강점: 문맥적 의미 이해가 필요한 **의미 선택 (MS)**과 **Cloze Completion (CC)**에서는 상대적으로 좋은 성능을 보임.
  • 약점: **표현 구성 요소 분류 (RC)**와 **의도 인식 (IR)**에서는 성능이 매우 낮음. 흥미롭게도 **독성 탐지 (TD)**는 RC 보다 약 15% 높은 정확도를 보였는데, 이는 기존 연구가 추상화의 독성 분석에 치중하여 모델이 독성 특징에 더 민감해졌기 때문으로 추정됨.
• 모델 규모와 성능의 역설:
  • 일반적으로 모델 규모가 커질수록 성능이 향상되지만, Qwen3-14B 와 Qwen3-32B 를 비교했을 때 32B 모델이 오히려 성능이 저하되는 현상이 관찰됨. 이는 과도한 추론 (Overthinking) 으로 인한 환각 (Hallucination) 이 발생했기 때문으로 분석됨.
• 할루시네이션 (Hallucination) 분석:
  • MCC(Matthews Correlation Coefficient) 분석 결과, 소규모 모델이나 복잡한 태스크 (RC, IR) 에서 모델의 예측이 무작위 추측 수준 (MCC ≈ 0) 이거나 오히려 반대되는 오류 (MCC < 0) 를 범하는 경우가 많음. 이는 모델이 추상화의 은폐된 신호를 체계적으로 오해하고 있음을 시사.
• 번역 품질 영향 요인:
  • 독성 콘텐츠: 위장된 독성 표현은 번역 품질을 현저히 저하시킴.
  • 위장 유형: 동음이의어 위장은 번역에 긍정적 영향을 주지만, **시각적 위장 (Visual Camouflage)**은 현재 LLM 이 가장 어려워하는 영역임.

5. 의의 및 결론 (Significance)

• 문화적 편향 극복: LLM 의 서구 중심적 편향을 지적하고, 비서구 하위 문화 언어의 이해를 위한 연구의 중요성을 강조함.
• NLP 연구의 확장: 단순한 독성 탐지를 넘어, 인터넷 하위 문화 언어의 역동성과 사회적 상호작용 기능을 포괄적으로 분석할 수 있는 틀을 제공함.
• 향후 연구 방향: 추상화 언어와 같은 복잡한 하위 문화 코드를 이해하기 위해서는 단순한 데이터 양의 증가뿐만 아니라, 문화적 맥락과 은유적 추론 능력을 강화하는 새로운 모델링 기법이 필요함을 시사함.

이 연구는 Mouse 벤치마크를 통해 LLM 이 중국어 인터넷 하위 문화를 이해하는 데 여전히 큰 도전에 직면해 있음을 밝혔으며, 보다 포용적이고 강력한 NLP 시스템 개발을 위한 기초를 마련했습니다.