Translate or Simplify First: An Analysis of Cross-lingual Text Simplification in English and French

1. Declaração do Problema

Simplificação de Texto Multilíngue (CLTS) visa tornar o conteúdo acessível a públicos diversos (por exemplo, aprendizes de idiomas, indivíduos com dificuldades de leitura) traduzindo simultaneamente o texto de uma língua fonte para uma língua alvo e reduzindo sua complexidade linguística.

Embora a Tradução Automática (MT) e a Simplificação de Texto Monolíngue (TS) sejam campos maduros, a CLTS apresenta desafios únicos:

• Interdependência: Estratégias de simplificação variam conforme o idioma devido a diferenças gramaticais e culturais.
• Ambiguidade de Ordenação: Não está claro se deve-se traduzir primeiro e depois simplificar, simplificar primeiro e depois traduzir, ou realizar ambas as tarefas simultaneamente.
• Lacunas de Avaliação: Métricas tradicionais (como BLEU) frequentemente penalizam operações legítimas de simplificação, e as avaliações existentes carecem de comparações sistemáticas de estratégias de prompt para Modelos de Linguagem de Grande Escala (LLMs) em um contexto multilíngue.

2. Metodologia

Configuração Experimental

• Corpora: O estudo utilizou cinco conjuntos de dados diversos cobrindo conhecimento geral (Wikipedia) e textos médicos:
  • ASSET (Inglês)
  • WikiAuto (Inglês)
  • MultiCochrane (Multilíngue: EN, FR, ES, FA)
  • CLEAR (Médico em Francês)
  • WikiLarge-Fr (Francês)
• Modelos: Sete LLMs de última geração foram avaliados, incluindo modelos proprietários (GPT-3.5, GPT-4o-mini, Gemini 2.5 Flash-Lite) e modelos de código aberto (DeepSeek, Aya101, Mistral-NeMo, mT5).
• Estratégias de Prompting: O cerne do estudo compara cinco abordagens distintas para lidar com a tarefa de CLTS:
  1. Prompting Direto: Um único prompt instruindo o modelo a traduzir e simplificar simultaneamente.
  2. Composição T→S: Um único prompt instruindo o modelo a "Traduzir e depois Simplificar" (raciocínio sequencial dentro de um único prompt).
  3. Composição S→T: Um único prompt instruindo o modelo a "Simplificar e depois Traduzir".
  4. Decomposição T→S: Dois prompts consecutivos separados (Passo 1: Traduzir; Passo 2: Simplificar).
  5. Decomposição S→T: Dois prompts consecutivos separados (Passo 1: Simplificar; Passo 2: Traduzir).

Framework de Avaliação

Os autores empregaram uma abordagem de avaliação multifacetada:

1. Métricas Automáticas:
   • BLEU: Mede a fidelidade da tradução (sobreposição de n-gramas).
   • SARI: Mede a qualidade da simplificação (adições, deleções, retenções).
   • Semelhança Semântica: BERTScore (para EN→FR) e CamemBERTScore (para FR→EN) para avaliar a preservação do significado.
2. Análise de Características Linguísticas: Um conjunto abrangente de 37 características (baseado no framework BATS) foi extraído, incluindo riqueza lexical, profundidade da árvore sintática, comprimento da sentença, escores de legibilidade (Flesch-Kincaid, Flesch Reading Ease) e estruturas gramaticais.
3. Avaliação Humana: Anotadores classificaram as saídas quanto à Preservação do Significado (adição/remoção de informações) e Simplicidade (complexidade relativa) usando escalas Likert.

3. Contribuições Principais

1. Primeira Comparação Sistemática: Este é o primeiro estudo a comparar sistematicamente cinco estratégias de prompting diferentes para CLTS entre Inglês e Francês em múltiplos LLMs e domínios.
2. Descoberta de Assimetria Direcional: O estudo revela que a estratégia ótima depende fortemente da direção da tradução (EN→FR vs. FR→EN).
3. Protocolo de Avaliação Abrangente: O artigo estabelece um protocolo robusto combinando métricas automáticas, análise profunda de características linguísticas e julgamento humano, fornecendo um modelo para futuras pesquisas em CLTS.
4. Quantificação de Trade-offs: Quantifica explicitamente o trade-off entre fidelidade (manter o significado original) e simplicidade (reduzir complexidade), mostrando que diferentes estratégias otimizam objetivos distintos.

4. Resultados Principais

Desempenho por Métrica

• Fidelidade de Tradução (BLEU): O Prompting Direto consistentemente alcançou os maiores escores BLEU em todos os modelos e corpora. Isso sugere que pedir ao modelo para realizar ambas as tarefas simultaneamente produz as traduções mais fluídas e precisas, preservando melhor a estrutura da fonte.
• Qualidade de Simplificação (SARI e Características Linguísticas): Abordagens sequenciais, particularmente Traduzir e depois Simplificar (T→S), demonstraram capacidades de simplificação superiores.
  • Composição T→S e Decomposição resultaram em menor profundidade da árvore sintática, sentenças mais curtas, maiores proporções de sentenças curtas e escores significativamente melhores de Flesch Reading Ease em comparação com o Prompting Direto.
  • Abordagens Simplificar e depois Traduzir (S→T) geralmente performaram pior em termos de BLEU, especialmente na direção Francês para Inglês, indicando deriva semântica significativa ao simplificar antes de traduzir.
• Semelhança Semântica: O prompting direto manteve os maiores escores de semelhança semântica. No entanto, em tarefas de Francês para Inglês, abordagens T→S mostraram escores BERT mais baixos, sugerindo que traduzir texto francês complexo primeiro e depois simplificar preserva o significado melhor do que simplificar o francês primeiro.

Achados da Avaliação Humana

• Trade-off Simplicidade vs. Fidelidade: Anotadores humanos classificaram abordagens de Decomposição como as mais "simples" (maiores escores de simplicidade). No entanto, isso veio ao custo de taxas mais altas de adição e remoção de informações.
• Prompting Direto: Classificado como o menos simples, mas o mais fiel ao texto fonte original, confirmando sua força na preservação do significado.
• Ordem Operacional: A ordem das operações impactou significativamente a saída final. "Traduzir e depois Simplificar" geralmente produziu texto mais legível do que "Simplificar e depois Traduzir".

Desempenho dos Modelos

• Modelos proprietários (GPT-4o, Gemini) geralmente superaram modelos de código aberto (Aya, Mistral, mT5) em todas as métricas.
• A linha de base mT5 ajustada mostrou escores SARI competitivos, mas escores BLEU e semânticos significativamente mais baixos em comparação com os LLMs com prompts, destacando as capacidades zero-shot dos LLMs modernos.

5. Significado e Implicações

• Seleção de Estratégia: O artigo conclui que não existe uma estratégia "tamanho único".
  • Se o objetivo é máxima precisão e preservação de significado (por exemplo, tradução legal ou médica onde a fidelidade é crítica), o Prompting Direto é a escolha superior.
  • Se o objetivo é máxima acessibilidade e legibilidade (por exemplo, materiais educacionais para falantes não nativos), abordagens Traduzir e depois Simplificar (T→S) são recomendadas, pois produzem o texto estruturalmente mais simplificado.
• Engenharia de Prompt: O estudo valida que a engenharia de prompt (especificamente a ordenação de tarefas e o uso de composição vs. decomposição) é uma alavanca crítica para controlar as características de saída de LLMs em tarefas complexas e multiobjetivo.
• Direções Futuras: Os autores destacam a necessidade de pesquisa em outros pares de idiomas (especialmente idiomas de recursos baixos ou tipologicamente distantes) e o desenvolvimento de métricas que capturem melhor a adequação cultural e a compreensão real do leitor.

Em resumo, este artigo fornece uma análise fundamental de como aproveitar melhor os LLMs para Simplificação de Texto Multilíngue, demonstrando que a escolha da estratégia de prompting altera fundamentalmente o equilíbrio entre precisão de tradução e simplificação de texto.