Resumo Técnico: Um Pipeline de Grande Escala para Detecção Automática de Neologismos

Declaração do Problema

A detecção automática de neologismos (inovações lexicais) enfrenta um desafio fundamental de escalabilidade. Embora corpora de mídia social em grande escala ofereçam fontes ricas de mudança linguística, a vasta maioria dos tokens ausentes em dicionários padrão não são neologismos, mas sim erros de digitação, grafias incorretas, strings concatenadas, fragmentos de código ou material em língua estrangeira. Em um corpus de 527 milhões de postagens em inglês do Reddit, foram extraídos 124,6 milhões de tokens únicos. Classificar cada um desses individualmente usando Modelos de Linguagem Grandes (LLMs) é computacionalmente inviável. Além disso, sistemas de detecção existentes frequentemente dependem de dicionários de exclusão estáticos e específicos de língua, que carecem de portabilidade e exigem verificação manual extensiva de grandes conjuntos de candidatos. O problema central é projetar um pipeline que reduza esse conjunto massivo de candidatos a um tamanho gerenciável para verificação por especialistas, mantendo alta recuperação (recall) para inovações lexicais genuínas.

Metodologia

Os autores apresentam um pipeline escalável e modular que combina filtragem determinística baseada em regras com classificação por LLMs multi-modelo. O sistema fundamenta-se em dois quadros complementares de formação de palavras:

1. Formação Gramatical de Palavras: Baseada na teoria onomasiológica de Štekauer, cobrindo processos regidos por regras como afixação e composição.
2. Formação Extra-Gramatical de Palavras: Baseada no quadro de Mattiello, cobrindo processos não regidos por regras como fusão (blending), abreviação (clipping) e morfologia expressiva (por exemplo, doggo).

O pipeline opera através de uma cascata de filtragem multiestágio:

1. Tokenização e Pré-processamento: Usando o spaCy, o sistema remove conteúdo não lexical (URLs, menções, emojis) e normaliza o texto.
2. Filtragem de Vocabulário: Tokens presentes em vocabulários de referência compilados exclusivamente a partir de fontes anteriores a 2015 (16,3 milhões de formas de superfície de fontes como WordNet, Wiktionary e Urban Dictionary) são excluídos.
3. Limpeza Baseada em Padrões: Regras independentes e específicas de língua removem ruído, como repetição excessiva de caracteres, strings de baixa entropia e clusters fonotáticos implausíveis.
4. Detecção de Erros de Digitação e Concatenação: Usando SymSpell, o sistema sinaliza tokens que são provavelmente erros de digitação ou concatenações sem espaços de palavras existentes, baseando-se na distância de edição e segmentação contra um dicionário de frequência.
5. Limiar de Frequência e Reintegração: Tokens sinalizados como erros são reconsiderados se aparecerem frequentemente (limiar ≥100 ocorrências) no corpus. Este mecanismo impede a descarte prematuro de neologismos genuínos de alta frequência que podem se assemelhar a erros de digitação (por exemplo, vtuber).
6. Detecção de Língua Estrangeira: Um detector de língua (Lingua) filtra tokens identificados como não ingleses, embora um limiar de confiança permita que casos ambíguos prossigam para classificação.
7. Classificação por LLM: Os candidatos restantes são classificados em quatro categorias: Neologismo (novas palavras/gírias), Entidade (substantivos próprios), Estrangeiro (palavras não em inglês) e Nenhum (ruído residual).
   • Votação em Ensemble: Três modelos de código aberto (Qwen 2.5 72B, LLaMA 3.3 70B, Mistral Large 2 123B) classificam tokens independentemente. Uma votação majoritária determina o rótulo.
   • Verificação: Um quarto modelo (Claude 4.5 Haiku) atua como um filtro de verificação rigoroso, reavaliando os candidatos a neologismos da votação majoritária para reduzir falsos positivos.

Contribuições Principais

1. Arquitetura de Pipeline Escalável: Um sistema modular capaz de processar centenas de milhões de tokens, reduzindo um conjunto de 124,6 milhões de tokens para 1.021 candidatos (uma taxa de compressão de 122.031:1) adequado para verificação manual por especialistas.
2. Fundamentação Teórica: O esquema de classificação é derivado explicitamente de teorias de formação de palavras gramaticais e extra-gramaticais, garantindo que o rótulo "neologismo" capture tanto inovações baseadas em regras quanto analógicas.
3. Avaliação Comparativa de LLMs: Uma avaliação sistemática de múltiplos LLMs em uma tarefa de classificação de neologismos de quatro classes, revelando desacordo significativo entre modelos e demonstrando o valor de métodos de ensemble.
4. Conjunto de Dados Anotado: A liberação de uma lista manualmente anotada de 1.021 candidatos de saída do pipeline, incluindo rótulos de ouro, análise de erros e classificação por processo de formação de palavras.

Resultados

Aplicado às 527 milhões de postagens do Reddit (2005–2024), o pipeline produziu os seguintes resultados:

• Eficiência de Filtragem: Os estágios baseados em regras reduziram os 124,6 milhões de tokens únicos iniciais em 99,86%, deixando 174.973 candidatos para classificação por LLM.
• Desacordo entre Modelos: Houve desacordo substancial entre os três modelos de código aberto. O LLaMA foi o mais agressivo na previsão de neologismos (12,2%), enquanto o Mistral foi o mais conservador (atribuindo 59,9% a "nenhum"). O acordo unânime ocorreu em apenas 45,8% dos casos.
• Impacto da Verificação: A votação majoritária produziu 10.499 candidatos a neologismos. A etapa de verificação usando o Claude 4.5 Haiku rejeitou 90,3% destes, confirmando apenas 897 como neologismos.
• Saída Final: Após a verificação, restaram 1.021 candidatos. A anotação manual confirmou que 599 (58,7%) eram inovações lexicais genuínas (465 neologismos e 134 entidades). Os 422 restantes foram falsos positivos (361 "nenhum" e 61 tokens em língua estrangeira).
• Padrões de Formação de Palavras: Os 599 neologismos confirmados exibiram processos de formação diversos, incluindo processos gramaticais padrão (prefixação, sufixação, composição) e processos extra-gramaticais (fusão, morfologia expressiva e formações analógicas como finfluencer e tradwife).
• Estimativa de Recuperação (Recall): Com base em uma lista de referência de 103 neologismos documentados, o pipeline detectou 20 verdadeiros positivos. No entanto, 48 foram corretamente excluídos como formas anteriores a 2015, e 33 foram falsos negativos. A recuperação para itens genuinamente posteriores a 2015 foi de 37,7% (20/53), sendo a principal fonte de falsos negativos conflitos de homógrafos no vocabulário (por exemplo, rizz como nome de personagem vs. o termo de gíria).

Significado e Alegações

O artigo posiciona o pipeline não como um classificador perfeito, mas como um gerador de candidatos de alta recuperação. Seu significado principal reside em tornar a tarefa de detecção de neologismos viável para especialistas humanos, comprimindo um conjunto de dados inadministrável em um conjunto pequeno e verificável.

Os autores afirmam que:

• O pipeline operacionaliza com sucesso teorias linguísticas complexas (Štekauer e Mattiello) em um fluxo de trabalho computacional.
• A combinação de pré-filtragem baseada em regras e classificação por LLMs multi-modelo é necessária para lidar com o ruído inerente aos dados de mídia social.
• O conjunto de dados resultante de 599 neologismos verificados fornece um recurso valioso para estudar processos contemporâneos de formação de palavras, capturando padrões desde a composição padrão até formas combinatórias "secretadas" analógicas (por exemplo, -fluencer, -pilled).
• A análise de erros destaca que melhorias futuras devem focar nos estágios de filtragem mais precoces (vocabulário e tokenização) em vez da classificação a jusante, particularmente no que diz respeito a mudanças semânticas e conflitos de homógrafos.

Os autores observam explicitamente limitações, incluindo a incapacidade de detectar expressões de múltiplas palavras, mudanças semânticas (por exemplo, Karen) ou inovações não alfabéticas (algospeak), e reconhecem que a instância atual é específica para inglês, embora a arquitetura seja projetada para ser transferível.