기술 요약: 자동 신조어 감지를 위한 대규모 파이프라인

문제 제기

신조어 (어휘적 혁신) 의 자동 감지는 근본적인 확장성 도전에 직면해 있습니다. 대규모 소셜 미디어 코퍼스는 언어 변화의 풍부한 원천을 제공하지만, 표준 사전에 없는 토큰의 대다수는 신조어가 아니라 오타, 철자 오류, 연결된 문자열, 코드 조각, 또는 외국어 자료입니다. 5 억 2,700 만 개의 영어 레딧 게시물로 구성된 코퍼스에서 1 억 2,460 만 개의 고유 토큰이 추출되었습니다. 이러한 각각을 대규모 언어 모델 (LLM) 을 사용하여 개별적으로 분류하는 것은 계산적으로 불가능합니다. 또한, 기존 감지 시스템은 종종 이식성이 부족하고 대규모 후보 집합에 대한 광범위한 수동 검증을 요구하는 정적이며 언어별 배제 사전을 의존합니다. 핵심 문제는 진정한 어휘적 혁신에 대한 높은 재현율 (recall) 을 유지하면서, 전문가 검증을 위해 이 거대한 후보 집합을 관리 가능한 크기로 줄이는 파이프라인을 설계하는 것입니다.

방법론

저자들은 결정론적 규칙 기반 필터링과 다중 모델 LLM 분류를 결합한 확장 가능하고 모듈식 파이프라인을 제시합니다. 이 시스템은 두 가지 상호 보완적인 단어 형성 프레임워크에 기반합니다:

1. 문법적 단어 형성: Štekauer 의 명사론적 이론에 기반하여, 접사화와 합성어와 같은 규칙 지배적 과정을 다룹니다.
2. 비문법적 단어 형성: Mattiello 의 프레임워크에 기반하여, 블렌딩, 절단, 그리고 표현적 형태론 (예: doggo) 과 같은 비규칙 지배적 과정을 다룹니다.

파이프라인은 다단계 필터링 캐스케이드를 통해 작동합니다:

1. 토큰화 및 전처리: spaCy 를 사용하여 URL, 언급, 이모지 등 비어휘적 콘텐츠를 제거하고 텍스트를 정규화합니다.
2. 어휘 필터링: WordNet, Wiktionary, Urban Dictionary 등의 소스로부터 2015 년 이전 자료만으로 구성된 참조 어휘에 포함된 토큰 (1,630 만 개의 표면 형태) 은 제외됩니다.
3. 패턴 기반 정제: 언어 독립적 및 언어별 규칙이 과도한 문자 반복, 낮은 엔트로피 문자열, 그리고 비현실적인 음운론적 클러스터와 같은 노이즈를 제거합니다.
4. 오타 및 연결 감지: SymSpell 를 사용하여 편집 거리와 빈도 사전에 대한 분할을 기반으로 기존 단어의 철자 오류이거나 공백 없는 연결일 가능성이 높은 토큰을 플래그합니다.
5. 빈도 임계값 및 재통합: 오류로 플래그된 토큰이 코퍼스에서 빈번하게 나타나는 경우 (임계값 ≥100 회 발생) 재고려됩니다. 이 메커니즘은 오타와 유사할 수 있는 진정한 고빈도 신조어 (예: vtuber) 의 조기 폐기를 방지합니다.
6. 외국어 감지: 언어 감지기 (Lingua) 가 비영어권으로 식별된 토큰을 필터링하지만, 신뢰도 임계값은 모호한 사례가 분류 단계로 진행되도록 허용합니다.
7. LLM 분류: 남은 후보들은 네 가지 범주로 분류됩니다: 신조어 (새로운 단어/속어), 실체 (고유명사), 외국어 (비영어 단어), 그리고 없음 (잔여 노이즈).
   • 앙상블 투표: 세 개의 오픈소스 모델 (Qwen 2.5 72B, LLaMA 3.3 70B, Mistral Large 2 123B) 이 토큰을 독립적으로 분류합니다. 다수결 투표가 라벨을 결정합니다.
   • 검증: 네 번째 모델 (Claude 4.5 Haiku) 은 엄격한 검증 필터로 작용하여 다수결 투표로 선정된 신조어 후보를 재평가하여 오탐지를 줄입니다.

주요 기여

1. 확장 가능한 파이프라인 아키텍처: 수억 개의 토큰을 처리할 수 있는 모듈식 시스템으로, 1 억 2,460 만 개의 토큰 집합을 수동 전문가 검증에 적합한 1,021 개의 후보로 줄여 122,031:1 의 압축 비율을 달성했습니다.
2. 이론적 기반: 분류 체계는 명시적으로 문법적 및 비문법적 단어 형성 이론에서 도출되어, "신조어" 라벨이 규칙 기반 및 유추적 혁신 모두를 포착하도록 보장합니다.
3. 비교적 LLM 평가: 4 클래스 신조어 분류 작업에 대한 여러 LLM 의 체계적 평가를 통해 모델 간 상당한 불일치를 드러냈으며, 앙상블 방법의 가치를 입증했습니다.
4. 주석 달린 데이터셋: 금표 라벨, 오류 분석, 그리고 단어 형성 과정별 분류를 포함한 1,021 개의 파이프라인 출력 후보에 대한 수동 주석 목록을 공개했습니다.

결과

2005 년부터 2024 년까지의 5 억 2,700 만 개 레딧 게시물에 적용된 파이프라인은 다음과 같은 결과를 산출했습니다:

• 필터링 효율성: 규칙 기반 단계가 초기 1 억 2,460 만 개의 고유 토큰을 99.86% 감소시켜, LLM 분류를 위한 174,973 개의 후보를 남겼습니다.
• 모델 불일치: 세 개의 오픈소스 모델 간에 상당한 불일치가 있었습니다. LLaMA 는 신조어 예측에서 가장 공격적이었으며 (12.2%), Mistral 은 가장 보수적이었습니다 ("없음"에 59.9% 할당). 만장일치 합의는 45.8% 의 경우에만 발생했습니다.
• 검증 영향: 다수결 투표는 10,499 개의 신조어 후보를 생성했습니다. Claude 4.5 Haiku 를 사용한 검증 단계는 이 중 90.3% 를 기각하여 897 개만 신조어로 확인했습니다.
• 최종 출력: 검증 후 1,021 개의 후보가 남았습니다. 수동 주석에 따르면 599 개 (58.7%) 가 진정한 어휘적 혁신 (465 개의 신조어와 134 개의 실체) 이었습니다. 나머지 422 개는 오탐지 (361 개의 "없음"과 61 개의 외국어 토큰) 였습니다.
• 단어 형성 패턴: 확인된 599 개의 신조어는 접두사, 접미사, 합성어와 같은 표준 문법적 과정과 블렌딩, 표현적 형태론, 그리고 finfluencer 및 tradwife 와 같은 유추적 형성 (예: finfluencer, tradwife) 과 같은 비문법적 과정을 포함한 다양한 형성 과정을 보여주었습니다.
• 재현율 추정: 103 개의 문서화된 신조어 참조 목록을 기반으로 파이프라인은 20 개의 참양성을 감지했습니다. 그러나 48 개는 2015 년 이전 형태로 올바르게 제외되었고, 33 개는 오탐지였습니다. 2015 년 이후 genuinely 항목에 대한 재현율은 37.7% (20/53) 였으며, 오탐지의 주요 원인은 어휘 동형이음 (homograph) 충돌 (예: 캐릭터 이름으로서의 rizz 대 속어 용어로서의 rizz) 이었습니다.

중요성 및 주장

이 논문은 파이프라인을 완벽한 분류기가 아닌 높은 재현율의 후보 생성기로 위치시킵니다. 그 주요 중요성은 관리 불가능한 데이터셋을 작고 검증 가능한 집합으로 압축함으로써 신조어 감지 작업을 인간 전문가에게 실현 가능하게 만든 데 있습니다.

저자들은 다음과 같이 주장합니다:

• 파이프라인은 Štekauer 와 Mattiello 와 같은 복잡한 언어 이론을 계산 워크플로우로 성공적으로 운영화했습니다.
• 소셜 미디어 데이터에 내재된 노이즈를 처리하기 위해서는 규칙 기반 전처리와 다중 모델 LLM 분류의 결합이 필수적입니다.
• 생성된 599 개의 검증된 신조어 데이터셋은 표준 합성어부터 유추적 "분비" 결합 형태 (예: -fluencer, -pilled) 에 이르기까지 패턴을 포착하여 현대 단어 형성 과정을 연구하는 데 귀중한 자원을 제공합니다.
• 오류 분석은 향후 개선이 의미 변화와 동형이음 충돌과 관련하여 특히 하류 분류가 아닌 초기 필터링 단계 (어휘 및 토큰화) 에 초점을 맞춰야 함을 강조합니다.

저자들은 다어구 표현, 의미 변화 (예: Karen), 또는 비알파벳 혁신 (algospeak) 을 감지할 수 없다는 한계를 명시적으로 지적했으며, 현재 구현은 영어에 특화되어 있지만 아키텍처는 이전 가능하도록 설계되었음을 인정합니다.