Resumo Técnico: NormEval – Um Framework Unificado de Múltiplas Métricas para Avaliação da Fidelidade Semântica na Normalização de Texto

1. Definição do Problema

As técnicas de normalização de texto, como stemming e lematização, são fundamentais para os pipelines de Processamento de Linguagem Natural (PLN), reduzindo o tamanho do vocabulário e permitindo que os modelos generalizem através de variantes morfológicas. No entanto, a avaliação desses métodos sofre de uma lacuna metodológica crítica: as abordagens existentes dependem de paradigmas isolados de métrica única que falham em distinguir entre a redução benéfica de vocabulário e a distorção semântica prejudicial.

A literatura atual baseia-se em três paradigmas insuficientes:

1. Compressão Intrínseca: Medir a redução do vocabulário (ex: Razão de Compressão). Isso falha em detectar se a redução colapsa palavras semanticamente não relacionadas.
2. Acurácia Extrínseca de Tarefas Downstream: Medir o desempenho do classificador em texto normalizado. Este é um sinal grosseiro que confunde a qualidade da normalização com a arquitetura do modelo e as características do conjunto de dados, muitas vezes mascarando erros.
3. Pontuações de Predição de Sequência: Utilizar métricas como BLEU contra referências de padrão ouro (gold-standard). Isso requer recursos anotados escassos para línguas de baixos recursos e falha em capturar a utilidade downstream ou a fidelidade semântica.

Consequentemente, não existe um framework padronizado para detectar a degradação semântica — a perda ou distorção gradual de significado durante o processamento — o que é particularmente problemático em línguas morfologicamente ricas (ex: bengali, árabe), onde o stemming agressivo pode fundir conceitos distintos, levando a falhas de precisão/recall em domínios de alto risco, como suporte à decisão clínica e análise jurídica.

2. Metodologia: O Framework NormEval

O artigo propõe o NormEval, um framework de avaliação unificado e orientado por dados que integra cinco métricas complementares através de três dimensões ortogonais: Eficiência em Nível Macro, Utilidade Downstream e Fidelidade Morfolológica em Nível Micro.

As Cinco Métricas

1. Razão de Compressão (CR - Compression Ratio): Mede a porcentagem de redução no tamanho do vocabulário.
   • $CR = \frac{\# \text{Palavras Únicas Antes}}{\# \text{Palavras Únicas Depois}}$
   • Indica eficiência em nível macro, mas não avalia a validade semântica.
2. Delta de Desempenho do Modelo (MPD - Model Performance Delta): Quantifica a mudança no desempenho de tarefas downstream (ex: macro F1-score) entre o texto normalizado e o original.
   • $MPD = \mathcal{P}_{norm} - \mathcal{P}_{orig}$
   • Atua como um "check de higiene" em vez de uma métrica de desempenho primária; detecta se a normalização prejudica a utilidade da tarefa.
3. Pontuação de Retenção de Informação (IRS - Information Retention Score): Mede a preservação semântica no nível macro usando embeddings de transformadores contextuais (ex: BanglaBERT, DistilBERT).
   • Calculado como a similaridade de cosseno entre vetores de embedding agregados dos documentos originais e normalizados.
   • Um alto IRS indica que o texto normalizado retém o significado original.
4. Pontuação de Eficácia do Algoritmo (AES - Algorithm Effectiveness Score): Uma média harmônica unificada do Ganho de Redução de Vocabulário (VRG) (uma transformação limitada de CR) e do IRS.
   • $AES = \frac{2 \cdot IRS \cdot VRG}{IRS + VRG}$
   • Garante que uma pontuação alta exija tanto eficiência quanto fidelidade semântica, penalizando algoritmos que se destacam em apenas uma dimensão.
5. Distância de Levenshtein Normalizada Média (ANLD - Average Normalized Levenshtein Distance): Uma métrica diagnóstica de nível de caractere que atua como um Portão de Segurança (Safety Gate).
   • Calcula a distância de edição normalizada média entre os tokens originais e suas formas normalizadas.
   • Detecta o "over-stemming destrutivo" (mutações agressivas) que as métricas de embedding macro (IRS) e tarefas downstream (MPD) podem mascarar.

Desenho Experimental

O framework foi validado através de três configurações experimentais:

• Generalizabilidade Multilíngue: Avaliado no benchmark XNLI em seis línguas tipologicamente diversas (árabe, alemão, inglês, espanhol, francês, russo) utilizando um protocolo de transferência cross-lingual zero-shot.
• Estudo de Ablação: Realizado em conjuntos de dados de complexidade de sentença em inglês e bengali (BTSD) para testar a necessidade de cada métrica, removendo-as sistematicamente.
• Avaliação de Robustez: Testado em um corpus de classificação de sentimento em bengali com desequilíbrio de classes e mudança de domínio para verificar a capacidade do framework de detectar riscos morfológicos em cenários realistas.

3. Principais Contribuições

1. Framework Unificado: Introduz o NormEval, o primeiro framework que avalia simultaneamente compressão intrínseca, utilidade downstream, preservação semântica, distorção morfológica de nível micro e robustez estatística.
2. Formalismo de Portão de Segurança: Propõe o uso de limiares de ANLD para detectar o over-stemming prejudicial (invisível para métricas baseadas em embeddings (IRS) ou pontuações de acurácia).
3. Reavaliação do MPD: Fornece evidência empírica de que a acurácia downstream (F1-score) é um proxy pouco confiável para a qualidade da normalização por si só, já que os ganhos são frequentemente estatisticamente insignificantes ($p > 0.05$). Redefine o MPD como um "check de higiene" para prevenir a degradação.
4. Consistência Cross-Linguística: Demonstra que ferramentas com pontuações AES idênticas podem diferir significativamente em risco morfológico, uma distinção visível apenas através do framework multidimensional.
5. Ecossistema Open-Source: Lança um pacote Python reproduzível (normeval) contendo todos os datasets, benchmarks e interfaces de avaliação.

4. Principais Resultados

• Achados Multilíngues (XNLI): Línguas morfologicamente ricas (árabe, espanhol, russo) exibiram alta compressão, mas também altos valores de ANLD (>0.32) e degradação significativa no desempenho downstream (MPD negativo). Crucialmente, o IRS permaneceu moderado (0.70–0.81), confirmando que a similaridade de embedding sozinha falha em sinalizar severa distorção ao nível de caractere.
• Achados de Ablação: A remoção de qualquer métrica única do framework levou a classificações incorretas dos algoritmos.
  • Sem o CR, algoritmos eficientes não podiam ser distinguidos de algoritmos conservadores.
  • Sem o MPD, a normalização prejudicial que degrada o desempenho downstream não poderia ser detectada.
  • Sem o IRS/AES, o equilíbrio entre eficiência e fidelidade era perdido.
  • Sem o ANLD, o framework falhou em detectar o "over-stemming destrutivo" (ex: BNLTK em bengali), classificando-o incorretamente como superior a alternativas mais seguras com base apenas no IRS e AES.
• Achados de Robustez: Na tarefa de sentimento em bengali, o algoritmo com maior AES (BNLTK) foi sinalizado como inseguro devido ao alto ANLD (0.26) e MPD negativo. Por outro lado, um algoritmo mais conservador (BanLemma), com menor AES mas ANLD seguro (0.18), gerou uma melhoria de 7.31 pontos percentuais no macro F1-score do SVM. Isso valida a Hipótese do Portão de Segurança: o ANLD é necessário para identificar riscos morfológicos que comprometem a utilidade downstream.

5. Significância e Alegações

O artigo afirma que o NormEval aborda uma falha sistêmica nas metodologias de avaliação atuais, que frequentemente permitem que a "corrupção silenciosa" do significado passe despercebida. Ao operacionalizar a Hipótese do Portão de Segurança, o framework fornece um método principiológico e linguisticamente informado para a seleção de algoritmos de normalização.

Os autores asseveram que o NormEval não é meramente uma ferramenta de diagnóstico, mas um sistema de suporte à decisão para aplicações de PLN de alto risco (ex: clínico, jurídico). Ele permite que os praticantes:

• Evitem selecionar algoritmos que parecem eficientes (alto CR/AES), mas que são semanticamente destrutivos (alto ANLD).
• Calibrem limiares de ANLD com base em requisitos de tarefas específicas (ex: limiares mais rigorosos para análise de sentimento vs. relaxados para recuperação de informação).
• Garantam que a normalização melhore, em vez de degradar secretamente, sistemas inteligentes.

O artigo conclui que, embora este estudo se concentre em stemming e lematização, o framework estabelece as bases para pipelines de PLN mais confiáveis e linguisticamente informados em diversas línguas e tarefas.