Align and Shine: Building High-Quality Sentence-Aligned Corpora for Multilingual Text Simplification

Resumo Técnico: Alinhar e Brilhar: Construindo Corpora Alinhados por Frase de Alta Qualidade para Simplificação Textual Multilíngue

Declaração do Problema
A simplificação textual automática (STA) é crítica para melhorar a acessibilidade da informação para aprendizes de idiomas e leitores com alfabetização limitada. No entanto, o desenvolvimento de modelos de STA é prejudicado pela escassez de conjuntos de dados em grande escala, de alta qualidade e alinhados por frase para idiomas além do inglês. Enquanto o inglês se beneficia de recursos como ASSET e ParallelSEW, outros idiomas carecem de corpora comparáveis. Recursos multilíngues existentes frequentemente sofrem com ruído, anotação inconsistente e incompatibilidade de domínios quando derivados de fontes web diversas. Além disso, métodos padrão de alinhamento de frases, frequentemente projetados para tradução automática, lutam com as operações linguísticas específicas da simplificação (por exemplo, divisão de frases, sumarização e deleção), que quebram as suposições de correlação de comprimento e sobreposição lexical.

Metodologia
Os autores propõem uma metodologia em duas fases para construir um corpus alinhado por frase a partir de pares de documentos comparáveis (artigos da Wikipedia e suas contrapartes simplificadas na Vikidia) em cinco idiomas: catalão, inglês, francês, italiano e espanhol.

1. Fonte de Dados: O estudo utiliza pares de artigos da Wikipedia e da Vikidia. A Vikidia é uma wiki projetada especificamente para crianças, fornecendo uma fonte natural de texto simplificado. Pares de documentos foram correspondidos por tópico e títulos idênticos.
2. Estrutura de Alinhamento: O estudo emprega o SentAlign, um algoritmo híbrido que combina pré-seleção heurística com ancoragem semântica neural. O pipeline inclui:
   • Pré-seleção Heurística: Utiliza o algoritmo de Gale e Church para gerar alinhamentos candidatos baseados em razões de comprimento de caracteres.
   • Ancoragem Semântica: Valida candidatos usando embeddings semânticos para estabelecer "âncoras" (correspondências de alta confiança).
   • Otimização Global: Utiliza o algoritmo do caminho mais curto de Dijkstra para alinhar segmentos entre âncoras, configurado para uma busca assimétrica (mapeamentos N-para-M) para capturar operações de simplificação como divisão ou sumarização.
3. Representações Semânticas: O estudo avalia três modelos de embedding multilíngue durante as etapas de ancoragem e otimização:
   • LaBSE: Um modelo otimizado para tradução.
   • BGE-M3: Um modelo projetado para Geração Aumentada por Recuperação (RAG) e busca semântica.
   • SONAR: Um modelo multilíngue massivo do projeto NLLB.
4. Avaliação e Filtragem:
   • Um Padrão Ouro foi criado via anotação manual de 15 pares de documentos por idioma, definindo operações de simplificação válidas (simplificação lexical/sintática, divisão, sumarização, deleção).
   • O desempenho foi medido usando Precisão, Revocação e Pontuação F1 sob duas configurações: Rigorosa (correspondência exata de grupo) e Flexível (sobreposição semântica parcial).
   • Um mecanismo de filtragem de dupla soglia foi aplicado: um limite inferior ($\tau$) ajustado por idioma/modelo para maximizar a F1, e um limite superior (0,95) para excluir cópias literais que não oferecem sinal de simplificação.

Principais Resultados

• Falha da Linha de Base: Linhas de base tradicionais de nível superficial (Gale-Church e Hunalign) falharam em produzir alinhamentos viáveis (F1 $\approx$ 0,00), confirmando que comprimento e sobreposição lexical são insuficientes para o alinhamento de simplificação textual.
• Desempenho do Modelo:
  • LaBSE demonstrou superioridade consistente em idiomas românicos (catalão, espanhol, francês, italiano), alcançando as maiores pontuações F1 Rigorosas (por exemplo, 0,645 para catalão, 0,554 para italiano). Seu objetivo de classificação por tradução provou ser eficaz para detectar paráfrases monolíngues.
  • BGE-M3 se destacou em inglês (F1 Rigorosa: 0,525), superando o LaBSE, provavelmente devido à sua otimização de recuperação centrada no inglês. No entanto, seu desempenho degradou-se significativamente em idiomas românicos (por exemplo, F1 Rigorosa em francês: 0,253).
  • SONAR teve desempenho inferior em todos os idiomas (máxima F1 Rigorosa: 0,306 em inglês), sugerindo uma incompatibilidade entre seu objetivo de treinamento multilíngue e os requisitos de alinhamento de simplificação monolíngue granular.
• Sensibilidade ao Limiar: O estudo destacou o impacto crítico do ajuste de limiar. Sem filtragem, os modelos exibiram alta revocação, mas baixa precisão. Os limiares ótimos variaram por modelo e idioma (por exemplo, LaBSE $\tau \approx$ 0,60–0,67; BGE $\tau \approx$ 0,70–0,78).
• Qualidade do Corpus: O corpus alinhado final (Tabela 3) reteve aproximadamente 5% das frases originais, garantindo um conjunto de dados livre de ruído. A análise linguística confirmou alta preservação de significado (BERTScore > 0,90) e simplificação estrutural bem-sucedida (profundidade de árvore reduzida, aumento da densidade de sintagmas nominais).

Significado e Contribuições
O artigo afirma fornecer o primeiro corpus de código aberto em grande escala para simplificação textual em catalão e espanhol, e a primeira comparação sistemática de espaços de embedding semântico para alinhamento ao nível de frase na simplificação textual multilíngue.

Os autores enfatizam que seu trabalho aborda a lacuna em recursos de STA não ingleses, oferecendo um método principiado e reproduzível para extrair dados paralelos de alta precisão de fontes comparáveis sem anotação manual custosa. O conjunto de dados resultante está disponível publicamente e foi projetado para apoiar o treinamento e a avaliação de sistemas de simplificação textual, particularmente para idiomas de baixos recursos e ferramentas de acessibilidade. O estudo conclui que, embora modelos específicos (como o BGE para inglês) mostrem promessa, o LaBSE atualmente oferece a maior transferibilidade robusta para idiomas românicos neste domínio específico.