Operationalizing Linguistic Methods through Prompt-Engineering Skills: An Automatic Chinese Web Neologism Detection Pipeline

Resumo Técnico: Operacionalização de Métodos Linguísticos através de Habilidades de Engenharia de Prompt

Problema
Os neologismos da web chinesa — novas palavras e expressões que emergem do uso da linguagem online — apresentam um desafio persistente para a lexicografia computacional. Embora a linguística chinesa tradicional ofereça descrições bem desenvolvidas dos princípios de formação de palavras (ex: modificação, estruturas verbo-objeto, afixação) e das fronteiras entre novas criações e o inventário lexical existente, essas descrições permaneceram amplamente descritivas. Elas são utilizadas por linguistas para identificação manual, em vez de detecção automática. Preencher a lacuna entre o conhecimento linguístico descritivo e os procedimentos de detecção automática tem sido um objetivo de longa data no PLN (Processamento de Linguagem Natural) chinês. Além disso, embora os Grandes Modelos de Linguagem (LLMs) ofereçam novas possibilidades para operacionalizar o conhecimento linguístico via prompts, simplesmente pedir a um LLM para "julgar se isto é uma palavra nova" não equivale a codificar princípios linguísticos de forma reprodutível e estruturada.

Metodologia
Os autores propõem um pipeline de quatro estágios, totalmente automático, para detectar neologismos da web chinesa a partir do corpus BAAI CCI 3.0 (267 milhões de documentos). A inovação central é a operacionalização dos princípios de identificação linguística tradicional como habilidades de engenharia de prompt. Uma "habilidade" é definida aqui como uma interface de tarefa de LLM estruturada, combinando especificações de regras explícitas, exemplos representativos e restrições de formato.

O pipeline procede da seguinte forma:

1. Estágio 1: Geração de Candidatos Independente de Tokenizador. Para evitar o viés lexical inerente aos pipelines dependentes de tokenizadores, o método extrai n-gramas de caracteres (comprimentos 2, 3 e 4) diretamente via contagem de frequência, retendo os 400.000 candidatos principais para cada comprimento (1,2 milhão no total).
2. Estágio 2: Ancoragem em Dicionário e Pré-filtragem Estatística. Os candidatos são filtrados contra o Dicionário de Chinês Moderno (5ª edição, 2005) para remover palavras pré-existentes. Um pré-filtro de Informação Mútua Pontual (PMI) é aplicado (PMI > 2 para 2/3 caracteres; > 4 para 4 caracteres) para controlar os custos subsequentes, embora os autores reconheçam que isso possa descartar alguns neologismos de baixa coesão.
3. Estágio 3: Habilidade de Bem-formação Estrutural (LLM). Utilizando o modelo Qwen3.5-27B, os candidatos são classificados como WELL_FORMED (bem formado) ou FRAGMENT (fragmento). O prompt codifica princípios de formação de palavras chinesas (modificação, verbo-objeto, paralelo, templates quadissilábicos, afixação). Este estágio garante a validade estrutural em vez do reconhecimento baseado em memória.
4. Estágio 4: Classificação de Três Vias:
   • 4A (Baseado em Regras): Uma cadeia de cinco regras de posição de caracteres filtra palavras obviamente não-existentes (ex: prefixos/sufixos de palavras funcionais).
   • 4B (Habilidade de LLM): Os candidatos restantes passam por uma classificação de três vias (NEOLOGISM [neologismo], ENTITY [entidade], NONE [nenhum]) via uma habilidade de LLM. A habilidade inclui definições de classe, exemplos e regras de decisão (ex: incerteza assume por padrão NONE).

Protocolo de Avaliação
Em vez de reportar um único escore de recall agregado, os autores desenvolvem uma decomposição de recall condicional por estágio. Ao rastrear a sobrevivência das entradas do dicionário de Novas Palavras Chinesas de Hou (2023) (4.199 entradas) através de cada estágio, eles computam o recall condicional ($R_k$) para cada estágio. O recall estrito global é matematicamente o produto desses recalls de estágio ($R_1 \times R_2 \times R_3 \times R_{4A} \times R_{4B}$). Isso permite uma comparação diagnóstica ao nível do sub-pipeline.

Resultados Principais

• Saída do Pipeline: Aplicado ao corpus CCI 3.0, o pipeline produziu 226.959 candidatos classificados, incluindo 4.853 neologismos rotulados, 21.119 entidades e 200.987 não-palavras.
• Análise de Gargalo: A decomposição por estágio revela uma estrutura de gargalo bimodal.
  • Estágio 1 (Cobertura de Candidatos): $R = 41,5\%$
  • Estágio 4B (Classificação Semântica): $R = 60,0\%$
  • Estágios intermediários (2, 3, 4A) são quase isentos de perda ($R > 97\%$).
  • Juntos, o Estágio 1 e o Estágio 4B representam 83,7% dos falsos negativos.
• Diagnóstico Estratificado por Comprimento: Uma descoberta crítica é a dissociação entre as duas habilidades de LLM em relação ao comprimento do candidato:
  • Bem-formação Estrutural (Estágio 3): Invariante ao comprimento, retendo ~97–100% das entradas de 2, 3 e 4 caracteres.
  • Classificação de Novidade Semântica (Estágio 4B): Dependente do comprimento, com o recall caindo significativamente conforme o comprimento aumenta (65,6% para 2 caracteres, 59,0% para 3 caracteres, 44,1% para 4 caracteres).
• Comparação Translinguística: O recall do Estágio 4B (60,0%) aproxima-se da taxa de novidade real de 58,7% reportada por Rossini e van der Plas (2026) para detecção de neologismos em inglês, sugerindo um possível teto translinguístico para a classificação atual baseada em LLM.

Significância e Alegações
O artigo apresenta quatro contribuições metodológicas:

1. Operacionalização: Demonstra um método para converter o conhecimento linguístico descritivo em procedimentos de detecção automáticos e reprodutíveis via habilidades de engenharia de prompt.
2. Avaliação Diagnóstica: Introduz um protocolo de avaliação de recall condicional por estágio que decompõe o desempenho do pipeline em fatores multiplicativos, permitindo a atribuição granular de erros.
3. Liberação de Recursos: Libera um recurso público de 226.959 candidatos classificados de um massivo corpus da web chinesa.
4. Mapeamento de Fronteiras: Identifica uma fronteira específica na operacionalização linguística baseada em habilidades: enquanto os LLMs podem julgar de forma confiável a formação estrutural de palavras (invariante ao comprimento), sua capacidade de julgar a novidade semântica degrada-se significativamente conforme o comprimento do candidato aumenta.

Os autores alegam modestamente que este trabalho não introduz o conceito de "habilidades" (que é uma prática estabelecida), mas sim investiga a confiabilidade e as fronteiras da operacionalização do conhecimento de identificação linguística através deste paradigma. Os resultados sugerem que, embora o aspecto estrutural da detecção de neologismos seja bem tratado pelos atuais LLMs, o julgamento da novidade semântica continua sendo um desafio significativo, particularmente para candidatos mais longos.