Resumo Técnico: CANDLE – Desduplicação de Ruído em nível de Caractere para o Árabe usando um Codificador Leve

Definição do Problema

O artigo aborda o desafio da desduplicação de ruído em nível de caractere no texto árabe, visando especificamente a remoção de repetições consecutivas de caracteres inválidos, comuns na escrita informal de redes sociais. Embora os escritores frequentemente repitam caracteres para expressar ênfase ou emoção (por exemplo, alongando "sooooo" ou equivalentes em árabe), essas repetições também podem ser linguisticamente válidas e essenciais ao significado da palavra.

A dificuldade central reside em distinguir entre elongação ruidosa (que deve ser reduzida) e repetição morfológica válida (que deve ser preservada). Por exemplo, no árabe, a palavra para "reino" (al-mamlaka) contém um 'm' duplo válido, enquanto "rainha" (al-malika) não contém. Um sistema de redução ingênuo que colapsasse todas as repetições alteraria incorretamente o significado de palavras válidas. Além disso, embora as repetições válidas em árabe raramente excedam dois caracteres consecutivos, o máximo teórico é cinco, criando a necessidade de um sistema que possa lidar com decisões dependentes de contexto sem depender de regras rígidas.

Metodologia

Os autores propõem o CANDLE, um sistema leve que enquadra a desduplicação de caracteres como um problema de alinhamento de sequências, em vez de uma tarefa de classificação.

1. Formulação Central: Alinhamento CTC

Ao contrário de abordagens anteriores que dependem de regras manuais, dicionários ou analisadores morfológicos, o CANDLE utiliza Classificação Temporal Conexionista (CTC).

• Transformação de Entrada: O texto de entrada é primeiro processado usando uma operação reduce_to_2(), que garante que cada caractere apareça exatamente duas vezes. Isso cria uma estrutura de entrada consistente onde o comprimento da sequência é aproximadamente o dobro do original.
• Tarefa de Alinhamento: O modelo aprende a alinhar essa sequência de entrada duplicada à sequência "limpa" alvo (onde as repetições válidas são mantidas e as ruidosas são colapsadas).
• Vantagem: Esta formulação satisfaz a suposição do CTC de que o comprimento da sequência de entrada ($M$) é maior que o comprimento da sequência de saída ($N$), permitindo que o modelo aprenda o alinhamento diretamente dos dados sem rótulos de fronteira explícitos.

2. Arquitetura do Modelo e Treinamento

• Arquitetura Base: O sistema é inicializado usando uma arquitetura BERT baseada em caracteres pré-treinada (6 camadas de transformer, $d_{model}=512$, 16 cabeças de atenção).
• Estratégia de Treinamento:
  • Baseline de Classificação: Uma abordagem de linha de base foi testada, onde o modelo classifica cada caractere como "duplicado" ou "não duplicar" após uma operação reduce_to_1(). Esta sofreu com desequilíbrio de classes e baixo desempenho em casos ambíguos.
  • Treinamento CTC: O modelo CTC foi treinado com uma estratégia de descongelamento progressivo. Inicialmente, apenas a camada de saída foi treinada; subsequentemente, as duas últimas, depois três e, finalmente, todas as camadas do transformer foram descongeladas para garantir a convergência na tarefa de alinhamento mais difícil.
• Destilação do Modelo: Para reduzir o overhead de inferência, um modelo "professor" de 6 camadas foi destilado em um modelo "aluno" de 2 camadas. O aluno foi inicializado usando a primeira e a última camada do professor e treinado usando uma combinação de alvos suaves (divergência KL do professor) e alvos rígidos (perda CTC de ground truth).

3. Conjuntos de Dados

O sistema foi avaliado em três benchmarks distintos:

• NewsText: Um corpus limpo do jornal Sabq usado para medir erros em texto escrito formalmente (onde o modelo idealmente não deve fazer alterações).
• AmbigText: Um conjunto de dados curado manualmente com 273 sentenças contendo casos ambíguos onde as formas reduzidas poderiam mapear para múltiplas palavras válidas (ex: "avô" vs. "renovado").
• WildSAText: Um conjunto de dados do mundo real com 142.280 sentenças de fóruns sauditas, representando o árabe informal, dialetal e ruidoso.

Principais Resultados

A abordagem baseada em CTC superou significativamente a baseline de classificação em todas as métricas e conjuntos de dados.

• Desempenho em Texto Limpo (NewsText): O modelo CTC alcançou uma Taxa de Erro de Sentença (SER) de 5,37%, comparado a 63,79% para a baseline de classificação. Crucialmente, ambos os modelos atingiram 0% de erro em sentenças sem duplicatas, confirmando que não alteram textos já limpos.
• Desempenho em Texto Ambíguo (AmbigText): O modelo CTC alcançou uma SER de 23,08%, superando vastamente a baseline de classificação (69,96%). Isso demonstra a capacidade superior da formulação de alinhamento em utilizar o contexto para resolver ambiguidades.
• Desempenho em Texto do Mundo Real (WildSAText): O modelo CTC alcançou uma SER geral de 9,93%, comparado a 53,93% da baseline.
• Eficiência da Destilação: O modelo destilado de 2 camadas manteve um alto desempenho, com SERs de 6,31% (NewsText), 25,27% (AmbigText) e 12,43% (WildSAText). Isso representa uma redução de 3× na profundidade do modelo com degradação mínima de desempenho.

Impacto Downstream: Fertilidade do Tokenizador

Além da precisão, o artigo destaca um benefício prático downstream: a redução da fertilidade do tokenizador. Ao normalizar o texto antes que ele entre nos Grandes Modelos de Linguagem (LLMs), o número de tokens necessários para representar o texto diminui.

• Em diversos tokenizadores de LLM árabes (incluindo JAIS, Gemma, Llama e Qwen), a normalização reduziu a fertilidade em 4,8% a 12,8% em relação à entrada bruta.
• Essa redução traduz-se diretamente em menores custos de inferência e utilização mais eficiente das janelas de contexto.

Significância e Contribuições

O artigo reivindica as seguintes contribuições:

1. Aplicação Inédita de CTC: Esta é a primeira aplicação conhecida de Classificação Temporal Conexionista para a tarefa específica de desduplicação de nível de caractere, enquadrando a normalização como um problema de alinhamento de sequências.
2. Eficiência de Recursos: O sistema opera sem regras manuais, dicionários ou analisadores morfológicos, baseando-se apenas em um codificador leve.
3. Implantação Prática: Através da destilação de modelos, os autores demonstram que um modelo de alto desempenho pode ser comprimido em um aluno de 2 camadas, tornando-o adequado para ambientes de produção.
4. Redução de Custos: O trabalho estabelece uma ligação direta entre a normalização de texto e a redução dos custos de inferência de LLM através da melhoria da eficiência de tokenização.

Limitações

Os autores reconhecem duas limitações principais:

• Entrada Puramente Árabe: O sistema assume que a entrada contém apenas letras árabes. Ele não suporta diacríticos, numerais ou caracteres especiais, que devem ser tratados por uma etapa de pré-processamento dedicada para evitar a distorção da estrutura da sentença.
• Repetição Limitada: O sistema assume que as repetições válidas não excedem dois caracteres consecutivos. Consequentemente, palavras árabes válidas com três ou mais caracteres idênticos consecutivos (embora raras) podem ser incorretamente colapsadas.