Operationalizing Linguistic Methods through Prompt-Engineering Skills: An Automatic Chinese Web Neologism Detection Pipeline

기술 요약: 프롬프트 엔지니어링 기술을 통한 언어학적 방법론의 운용화

문제 정의
중국어 웹 신조어(온라인 언어 사용에서 나타나는 새로운 단어 및 표현)는 계산 어휘학에 있어 지속적인 과제를 제기한다. 전통적인 중국어 언어학은 단어 형성 원리(예: 수식, 동사-목적어 구조, 접사 결합)와 새로운 조어 및 기존 어휘 목록 사이의 경계에 대한 잘 발달된 기술적 설명을 제공하지만, 이러한 설명들은 주로 기술적(descriptive) 수준에 머물러 왔다. 이는 자동 탐지가 아닌 언어학자들의 수동 식별을 위해 사용되어 왔다. 기술적 언어 지식과 자동 탐지 절차 사이의 간극을 메우는 것은 중국어 NLP의 오랜 목표였다. 더욱이, 대규모 언어 모델(LLM)이 프롬프트를 통해 언어 지식을 운용화할 수 있는 새로운 가능성을 제시하고 있지만, 단순히 LLM에게 "이것이 새로운 단어인지 판단하라"고 요청하는 것이 언어적 원리를 재현 가능하고 구조화된 형태로 인코딩하는 것과 동일한 것은 아니다.

방법론
저자들은 BAAI CCI 3.0 코퍼스(2억 6,700만 개의 문서)로부터 중국어 웹 신조어를 탐지하기 위한 4단계의 완전 자동 파이프라인을 제안한다. 핵심 혁신은 전통적인 언어학적 식별 원리를 **프롬프트 엔지니어링 기술(skill)**로 운용화한 것이다. 여기서 "기술"은 명시적인 규칙 사양, 대표 사례, 그리고 형식 제약이 결합된 구조화된 LLM-태스크 인터페이스로 정의된다.

파이프라인은 다음과 같이 진행된다:

1. 1단계: 토크나이저 독립적 후보 생성. 토크나이저 의존적 파이프라인에 내재된 어휘 편향을 피하기 위해, 빈도 계산을 통해 문자 n-gram(길이 2, 3, 4)을 직접 추출하며, 각 길이별로 상위 40만 개의 후보를 유지한다(총 120만 개).
2. 2단계: 사전 앵커링 및 통계적 전처리 필터링. 기존 단어를 제거하기 위해 《현대중어사전》(제5판, 2005)을 기준으로 후보를 필터링한다. 하류 단계의 비용을 제로하기 위해 점수 상호 정보량(PMI) 전처리 필터를 적용한다(2/3자 단어는 PMI > 2, 4자 단어는 > 4). 다만 저자들은 이 과정에서 결합도가 낮은 일부 신조어가 누락될 수 있음을 인정한다.
3. 3단계: 구조적 적절성 기술 (LLM). Qwen3.5-27B 모델을 사용하여 후보를 WELL_FORMED(적절함) 또는 FRAGMENT(파편)로 분류한다. 프롬프트에는 중국어 단어 형성 원리(수식, 동사-목적어, 병렬, 4음절 템플릿, 접사 결합)가 인코딩되어 있다. 이 단계는 기억 기반의 인식이 아닌 구조적 타당성을 보장한다.
4. 4단계: 3원 분류.
   • 4A (규칙 기반): 5개의 문자 위치 규칙을 통해 명백한 비단어(예: 기능어 접두사/접미사)를 걸러낸다.
   • 4B (LLM 기술): 남은 후보들은 LLM 기술을 통해 3원 분류(NEOLOGISM(신조어), ENTITY(개체명), NONE(해당 없음))를 거친다. 이 기술에는 클래스 정의, 예시, 결정 규칙(예: 불확실할 경우 NONE으로 기본 설정)이 포함된다.

평가 프로토콜
단일 통합 재현율 점수를 보고하는 대신, 저자들은 **단계별 조건부 재현율 분해(per-stage conditional recall decomposition)**를 개발했다. Hou (2023) 신중어사전(4,199개 항목)의 항목들이 각 단계를 거치며 생존하는 과정을 추적함으로써, 각 단계의 조건부 재현율($R_k$)을 계산한다. 전체 엄격 재현율은 수학적으로 이 단계별 재현율들의 곱($R_1 \times R_2 \times R_3 \times R_{4A} \times R_{4B}$)이다. 이를 통해 서브 파이프라인 수준에서의 진단적 비교가 가능하다.

주요 결과

• 파이프라인 출력: CCI 3.0 코퍼스에 적용한 결과, 파이프라인은 226,959개의 분류된 후보를 생성했으며, 여기에는 4,853개의 레이블링된 신조어, 21,119개의 개체명, 200,987개의 비단어가 포함되었다.
• 병목 현상 분석: 단계별 분해 결과, 이봉형(bimodal) 병목 구조가 드러났다.
  • 1단계 (후보 커버리지): $R = 41.5\%$
  • 4B단계 (의미적 분류): $R = 60.0\%$
  • 중간 단계들(2, 3, 4A)은 손실이 거의 없다($R > 97\%$).
  • 1단계와 4B단계가 결합하여 미검출(false negatives)의 83.7%를 차지한다.
• 길이 계층적 진단: 두 LLM 기술 간의 후보 길이에 따른 괴리가 발견되었다.
  • 구조적 적절성 (3단계): 길이에 무관하게 2, 3, 4자 항목의 약 97~100%를 유지한다.
  • 의미적 참신성 분류 (4B단계): 길이에 의존적이며, 후보 길이가 길어질수록 재현율이 크게 떨어진다(2자 65.6%, 3자 59.0%, 4자 44.1%).
• 교차 언어 비교: 4B단계의 재현율(60.0%)은 Rossini와 van der Plas(2026)가 보고한 영어 신조어 탐지의 실제 참신성 비율(58.7%)과 유사하며, 이는 현재 LLM 기반 분류의 잠재적인 교차 언어적 한계치를 시사한다.

의의 및 주장
본 논문은 네 가지 방법론적 기여를 한다:

1. 운용화: 기술적 지식을 프롬프트 엔지니어링 기술을 통해 재현 가능한 자동 탐지 절차로 변환하는 방법을 입증한다.
2. 진단적 평가: 파이프라인 성능을 곱셈 인자로 분해하여 세밀한 오류 귀인을 가능하게 하는 단계별 조건부 재현율 평가 프로토콜을 도입한다.
3. 자원 공개: 거대한 중국어 웹 코퍼스에서 분류된 226,959개의 후보를 공공 자원으로 공개한다.
4. 경계 매핑: 기술 기반의 언어적 운용화에 관한 구체적인 경계를 식별한다. 즉, LLM은 구조적 단어 형성을 안정적으로 판단할 수 있지만(길이 불변), 의미적 참신성을 판단하는 능력은 후보 길이가 길어짐에 따라 현저히 저하된다.

저자들은 본 연구가 "기술(skills)"이라는 개념을 새로 도입하는 것이 아니라(이는 이미 확립된 관행임), 이 패러다임을 통해 언어적 식별 지식을 운용화하는 것의 신뢰성과 경계를 조사하는 것이라고 겸허히 주장한다. 결과는 신조어 탐지의 구조적 측면은 현재의 LLM에 의해 잘 처리되는 반면, 의미적 참신성 판단은 특히 후보 길이가 길어질 때 여전히 중대한 도전 과제로 남아 있음을 시사한다.