💬 NLP

Example-Guided Prompting for Document-Level Text Simplification

Este artigo demonstra que aumentar os prompts com exemplos de simplificação de documentos recuperados melhora significativamente a qualidade da simplificação de textos em nível de documento em grandes modelos de linguagem, alcançando um desempenho competitivo ou superior ao de sistemas supervisionados especializados sem exigir ajuste fino específico para a tarefa.

Autores originais: Marina Litvak, Ariel Perstin, Ilan Shtilman, Michael Färber

Publicado 2026-08-07

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Marina Litvak, Ariel Perstin, Ilan Shtilman, Michael Färber

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a reescrever uma história complicada para que uma criança mais nova consiga entender. Este é o mundo da simplificação de texto, um campo onde cientistas da computação ensinam máquinas a pegar uma escrita densa, de nível adulto, e transformá-la em algo claro e fácil de ler, sem perder o sentido original. Por muito tempo, a melhor maneira de fazer isso era treinar o robô com milhares de exemplos específicos até que ele memorizasse as regras. Mas, recentemente, chegou um novo tipo de robô superinteligente chamado Modelo de Linguagem de Grande Escala (LLM). Esses modelos são como alunos brilhantes que conseguem seguir instruções e aprender novos truques apenas lendo um comando, sem precisar ser treinados do zero. No entanto, mesmo esses robôs inteligentes às vezes se confundem quando solicitados a reescrever um livro ou artigo inteiro de uma só vez. Eles podem alterar o sentido, perder o fluxo da história ou tornar algo simples demais em algumas partes e difícil demais em outras. A grande questão que os pesquisadores estão fazendo é: Como damos a esses robôs a orientação mais adequada para realizarem um trabalho perfeito?

Este artigo apresenta uma solução inteligente chamada Prompt de Orientação por Exemplos (EGP). Pense nisso da seguinte forma: Se você pedisse a um aluno para escrever um resumo de um artigo científico complexo, você poderia apenas dar a ele um conjunto de regras escritas (um "prompt"). Mas e se, em vez disso, você também entregasse a ele alguns exemplos de como outros alunos simplificaram artigos semelhantes com sucesso? Os pesquisadores descobriram que dar ao robô essas "folhas de referência" de exemplos do mundo real faz maravilhas. Eles testaram essa ideia usando uma coleção de artigos de notícias educacionais chamada corpus OneStopEnglish. Eles pegaram documentos complexos e pediram a cinco robôs diferentes de última geração que os simplificassem. Em um grupo, os robôs receberam apenas as instruções escritas. No outro grupo, os robôs receberam as instruções mais três exemplos semelhantes de documentos que já haviam sido simplificados corretamente.

Os resultados foram bastante reveladores. Quando os robôs lhe foram mostrados esses exemplos, eles geralmente fizeram um trabalho muito melhor. Especificamente, o robô chamado Claude Haiku 4.5 viu sua pontuação de desempenho saltar de 40,78 para 44,84, e também manteve o sentido original do texto muito melhor do que antes. Outros robôs como o Gemini 2.0 Flash e o Sonar também melhoraram significamente. De fato, esse truque simples de mostrar exemplos permitiu que esses robôs superassem ou igualassem o desempenho de sistemas antigos e especializados que haviam sido treinados especificamente para essa tarefa durante anos. No entanto, o artigo também descobriu que esse truque não funciona para todos os robôs. Um modelo, o Llama 3.2, na verdade piorou quando lhe foram mostrados os exemplos, sugerindo que nem todos os robôs sabem como usar uma "folha de referência" de forma eficaz. O estudo sugere que, embora mostrar exemplos ajude os robôs a serem fiéis ao sentido original, às vezes torna o texto ligeiramente menos "fácil de ler" do que se tivessem apenas adivinhado por conta própria, criando um equilíbrio delicado entre manter a história precisa e torná-la simples. Fundamentalmente, os autores mostram que, para muitos robôs poderosos, observar como outros resolveram problemas semelhantes é um professor melhor do que apenas ler uma lista de regras.

Resumo Técnico: Prompting Guiado por Exemplos para Simplificação de Texto em Nível de Documento

Declaração do Problema

A simplificação de texto em nível de documento apresenta um desafio significativo para os Grandes Modelos de Linguagem (LLMs). Diferente da reescrita em nível de sentença, que foca em transformações locais, a simplificação em nível de documento exige mudanças coordenadas entre múltiplas sentenças para manter a coerência do discurso, a fidelidade semântica e a legibilidade consistente ao longo de todo um texto. Embora os LLMs baseados em prompts ofereçam uma alternativa flexível e livre de treinamento aos modelos supervisionados, eles frequentemente lutam com transformações complexas em nível de documento. Depender apenas de instruções textuais frequentemente leva a uma qualidade de simplificação inconsistente, pois as instruções sozinhas fornecem orientação insuficiente para as nuances das mudanças estruturais e estilísticas necessárias.

Abordagens existentes, como a Geração Aumentada por Recuperação (RAG), tipicamente utilizam documentos recuperados para fornecer conhecimento factual ou contexto externo. No entanto, a simplificação de documentos requer orientação sobre como transformar o texto, em vez de informações factuais adicionais. Existe uma lacuna no uso da recuperação para fornecer padrões de transformação especificamente para a simplificação de nível de documento sem a necessidade de ajuste fino (fine-tuning) específico para a tarefa.

Metodologia: Prompting Guiado por Exemplos (EGP)

Os autores propõem o Example-Guided Prompting (EGP), um framework de tempo de inferência projetado para aumentar os prompts padrão com exemplos de simplificação de documentos recuperados.

Mecanismo Central

Recuperação: Dado um documento de entrada complexo, o sistema recupera os $k$ superiores (onde $k=3$ ) pares de documento-simplificação semanticamente mais similares de um corpus de simplificação paralelo. Esta recuperação utiliza embeddings densos e similaridade de cosseno.
Aumento: Os exemplos recuperados são incorporados ao prompt junto com o documento alvo e a instrução textual.
Geração: O LLM processa este prompt enriquecido, aproveitando os exemplos recuperados para identificar e aplicar padrões de simplificação relevantes observados em contextos similares.
Restrição: O documento de entrada avaliado é explicitamente excluído do pool de recuperação para evitar vazamento de dados (data leakage).

Configuração Experimental

Dataset: O corpus OneStopEnglish (Vajjala e Luˇci´c, 2018), especificamente a configuração de simplificação de avançado para elementar.
Modelos: Cinco LLMs de última geração foram avaliados: GPT-4o-mini, Claude Haiku 4.5, Gemini 2.0 Flash, Sonar e Llama 3.2.
Baselines (Linhas de Base):
- Prompt-only: Uma estratégia de prompting baseada em restrições foi selecionada como baseline após experimentos preliminares mostrarem que ela alcançava os maiores escores SARI.
- Supervisionado/Planejamento: Comparações foram feitas contra o T5 (Raffel et al., 2020) e o PlanSimp (Cripwell et al., 2023), um sistema baseado em planejamento.
Métricas de Avaliação:
- Qualidade de Simplificação: SARI (Xu et al., 2016).
- Preservação Semântica: BERTScore (Zhang et al., 2019) e LENS (Maddela et al., 2023).
- Legibilidade: Flesch Reading Ease (FRE) e Flesch-Kincaid Grade Level (FKGL).

Principais Resultados

Os experimentos demonstram que o EGP melhora consistentemente a geração apenas por prompt em relação à maioria dos modelos e alcança um desempenho competitivo ou superior em comparação com sistemas supervisionados especializados.

Ganhos de Desempenho: A incorporação de exemplos recuperados melhorou a qualidade da simplificação (SARI) para quatro dos cinco LLMs avaliados.
- O Claude Haiku 4.5 mostrou a melhoria mais significativa, aumentando o SARI de 40.78 para 44.84, enquanto também melhorou a preservação semântica (BERTScore e LENS).
- Gemini 2.0 Flash e Sonar também demonstraram ganhos consistentes.
- GPT-4o-mini mostrou melhorias menores, porém consistentes.
- Llama 3.2 foi um outlier, experimentando uma degradação notável de desempenho em todas as métricas, sugerindo que nem todos os LLMs podem integrar efetivamente os exemplos recuperados.
Comparação com Baselines: Os modelos EGP geralmente superaram ou igualaram os sistemas especializados T5 e PlanSimp.
- Claude Haiku 4.5 + EGP alcançou o maior escore SARI (44.84), superando o PlanSimp (42.02) e o T5 (30.0).
- Em termos de preservação semântica, GPT-4o-mini e Claude Haiku 4.5 superaram substancialmente tanto o T5 quanto o PlanSimp no LENS, melhorando mais de 20 pontos em relação à baseline de planejamento.
Trade-offs: Um trade-off distinto foi observado entre legibilidade e preservação semântica. Embora o EGP tenha melhorado consistentemente as métricas orientadas à semântica (BERTScore, LENS), ele nem sempre gerou os maiores ganhos nas métricas de legibilidade (FKGL, FRE). Os exemplos recuperados parecem encorajar simplificações "conservadoras" que permanecem mais próximas da estrutura e do significado do documento original, priorizando a fidelidade em vez de uma redução agressiva de legibilidade.

Significância e Contribuições

O artigo apresenta três contribuições primárias:

Proposta do EGP: A introdução do Example-Guided Prompting como uma nova abordagem de tempo de inferência para simplificação de texto em nível de documento. Diferente do RAG tradicional que fornece fundamentação factual, o EGP usa a recuperação para fornecer orientação de transformação, permitindo que os LLMs explorem padrões de simplificação sem a necessidade de ajuste fino específico para a tarefa.
Validação Empírica: A demonstração de que o EGP melhora consistentemente a geração apenas por prompt em múltiplos LLMs de última geração. Os resultados mostram que esta abordagem baseada em recuperação pode alcançar um desempenho competitivo ou superior aos sistemas representativos supervisionados (T5) e baseados em planejamento (PlanSimp), apesar de não exigir dados de treinamento específicos para a tarefa de simplificação.
Análise de Dependência do Modelo: A identificação de que a eficácia do prompting guiado por exemplos é altamente dependente do LLM subjacente. O estudo destaca que a integração bem-sucedida de exemplos recuperados não é garantida; ela depende da capacidade específica do modelo de utilizar informações contextuais durante a geração. Esta descoberta sugere que a qualidade da recuperação sozinha é insuficiente e aponta para características arquitetônicas ou de treinamento como fatores críticos para pesquisas futuras.

Os autores concluem que os exemplos recuperados servem como um mecanismo eficaz para controlar a geração de texto através da orientação de transformação. Esta perspectiva estende-se além da simplificação de texto, sendo potencialmente aplicável a outras tarefas de geração controlada onde exemplos ilustram transformações desejáveis em vez de fornecer informações factuais.

Limitações

Os autores reconhecem diversas limitações:

Escopo do Dataset: Os experimentos foram limitados ao corpus OneStopEnglish (notícias educacionais em inglês), e a generalização para outros domínios, idiomas ou estilos permanece não verificada.
Métricas de Avaliação: Dependência de métricas automáticas (SARI, BERTScore, etc.), que podem não capturar totalmente os julgamentos humanos de coerência, consistência factual ou adequação ao público.
Configuração de Recuperação: O estudo utilizou uma única configuração de recuperação e um corpus. Variações nas estratégias de recuperação, tamanhos de corpus ou medidas de similaridade poderiam influenciar os resultados.
Variabilidade do Modelo: A queda significativa de desempenho observada no Llama 3.2 indica que o método não é universalmente eficaz em todas as arquiteturas de LLM, necessitando de mais investigações sobre o porqu