Resumo Técnico: Geração Automática de Destaques para Artigos Acadêmicos via Aprendizado Baseado em Prompts

Definição do Problema

A literatura acadêmica está expandindo rapidamente em volume e diversidade, criando desafios significativos para pesquisadores que tentam localizar, ler e analisar trabalhos relevantes de forma eficiente. Embora os "Destaques" (Highlights) — resumos condensados de descobertas críticas — sejam reconhecidos como uma ferramenta eficaz para compreensão rápida e otimização de mecanismos de busca, muitos periódicos não os fornecem. As soluções existentes para a geração automática de destaques dependem de métodos de aprendizado supervisionado que exigem conjuntos de dados de treinamento em larga escala e específicos de cada domínio. Essas abordagens tradicionais enfrentam duas limitações primárias: necessitam de recursos computacionais substanciais para treinar múltiplos modelos para diferentes domínios e demandam tempo e esforço significativos para construir grandes corpora de treinamento, muitas vezes desviando o foco da otimização do modelo.

Metodologia

Este estudo propõe um framework de Aprendizado Baseado em Prompts (Prompt-based Learning) para gerar destaques de artigos acadêmicos diretamente de resumos (abstracts), visando reduzir a dependência de grandes conjuntos de dados de treinamento, mantendo um alto desempenho.

Coleta de Dados

Os pesquisadores utilizaram três conjuntos de dados existentes que cobrem domínios distintos:

• CSPubSum: Ciência da Computação.
• AIPubSum: Inteligência Artificial.
• BioPubSum: Biomédico.
  Estes conjuntos forneceram resumos de artigos e os respectivos destaques escritos pelos autores. Os autores realizaram o rastreamento dos links originais da Elsevier para recuperar o texto completo de resumos e destaques, limpando os dados para remover registros vazios e problemas de formatação.

Design de Prompts

O núcleo da metodologia envolve a transformação da entrada (resumo) em um formato adequado para modelos de linguagem pré-treinados via templates de prompts.

• Construção de Templates: Nove templates de prompts distintos foram projetados, variando em termos de redação (ex: "Resuma", "Extraia", "Refine") e restrições (ex: especificar o número de destaques ou solicitar tópicos/bullet points).
• Aprendizado em Contexto (In-Context Learning): Para o modelo ChatGPT, os autores implementaram uma abordagem de "Aprendizado em Contexto". Isso envolveu a adição de uma seção de "Demonstração" ao prompt, contendo $k$ exemplos de pares resumo-destaque do conjunto de treinamento. O número de demonstrações foi limitado a seis para acomodar o limite de tokens do modelo (4096 tokens), deixando espaço para a entrada de inferência.
• Seleção de Amostras: Para otimizar o conteúdo das demonstrações, o estudo comparou a seleção de amostras aleatórias contra duas estratégias baseadas em relevância: similaridade semântica usando vetores text-embedding-ada-002 e sobreposição de N-gramas de nível superficial.

Modelos de Linguagem

Cinco modelos foram avaliados:

1. GPT-2: Um modelo pré-treinado apenas de decodificação (decoder-only).
2. T5: Um modelo transformer de texto-para-texto.
3. Flan-T5: Uma versão do T5 ajustada por instruções (instruction-tuned).
4. BART: Um modelo de autoencoder de denoising.
5. ChatGPT (gpt-3.5-turbo-0613): Um modelo conversacional treinado com Aprendizado por Reforço com Feedback Humano (RLHF).

Os modelos locais (GPT-2, T5, Flan-T5, BART) foram executados utilizando a biblioteca Hugging Face Transformers com amostragem aleatória para geração de tokens. O ChatGPT foi acessado via API.

Principais Contribuições

1. Aplicação Inovadora: Este é o primeiro estudo a aplicar o aprendizado baseado em prompts especificamente à tarefa de geração de destaques acadêmicos, utilizando tanto modelos pré-treinados padrão quanto modelos de linguagem de grande escala (LLMs) como o ChatGPT.
2. Eficiência de Dados: O método proposto alcança um desempenho comparável aos modelos supervisionados de estado da arte (SOTA) sem exigir treinamento extensivo em corpora específicos de domínio. Ele opera efetivamente em cenários zero-shot e few-shot.
3. Análise de Sensibilidade de Prompt: O estudo investiga minuciosamente como o conteúdo do prompt (redação, restrições) e o conteúdo da demonstração (quantidade e estratégia de seleção) impactam a qualidade da geração.
4. Estratégia de Seleção de Demonstração: A pesquisa identifica que selecionar amostras de demonstração baseadas na sobreposição de vocabulário de N-gramas produz resultados mais estáveis e de maior desempenho do que a seleção aleatória ou a similaridade de embedding semântico profundo, particularmente em configurações de baixo número de amostras (low-shot).

Resultados Experimentais

Os modelos foram avaliados utilizando as métricas ROUGE-N e ROUGE-L (especificamente pontuações F1) nos três conjuntos de dados.

• Desempenho Zero-Shot: Sem amostras de treinamento, o modelo ChatGPT aliado a templates de prompts otimizados alcançou um desempenho comparável aos métodos de aprendizado supervisionado anteriores. Notavelmente, superou o SOTA nos conjuntos de dados AIPubSum e BioPubSum.
• Desempenho Few-Shot: Quando um pequeno número de amostras de treinamento (demonstrações) foi adicionado aos prompts, o desempenho do modelo ChatGPT melhorou significamente, superando abordagens SOTA em dois dos três conjuntos de dados.
• Comparação de Modelos:
  • ChatGPT e Flan-T5 mostraram os ganhos de desempenho mais dramáticos quando os prompts foram adicionados, provavelmente devido ao seu ajuste por instruções (instruction-tuning).
  • GPT-2 e BART mostraram pouco ou nenhum melhoria com o uso de prompts; o BART apresentou o melhor desempenho na condição "sem prompt" entre os modelos locais.
  • Impacto do Prompt: O Prompt 8 ("Refine 4~5 pontos inovadores... em formato de tópicos sem explicação adicional") consistentemente apresentou os melhores resultados.
• Estudo de Caso: Uma análise qualitativa de artigos específicos revelou que os destaques gerados pelo modelo possuíam alta revocação (recall), cobrindo efetivamente os pontos-chave enfatizados pelos autores humanos. No entanto, a precisão (precision) foi menor, com as saídas geradas contendo ocasionalmente informações irrelevantes ou redundantes.

Significância e Alegações

Os autores afirmam que este estudo oferece uma solução prática e amplamente aplicável para a geração automática de destaques para artigos que atualmente carecem deles. Ao eliminar a necessidade de treinamento em corpora específicos de domínio, o método reduz a barreira para a aplicação da geração de destaques em diversos campos acadêmicos.

O estudo enfatiza que, embora os modelos de linguagem de grande escala possuam capacidades inerentes poderosas, seu desempenho em tarefas específicas depende fortemente das informações fornecidas nos templates de prompt. O método proposto fornece suporte de dados para pesquisas subsequentes de mineração de texto e bibliometria, permitindo a análise de informações de destaques para uma gama mais ampla de literatura acadêmica.

Os autores mantêm um tom modesto em relação às limitações, reconhecendo que:

• A engenharia de prompts manual é demorada e depende da intuição de especialistas.
• O conteúdo gerado ainda pode exigir pós-processamento (filtragem) para remover redundâncias.
• A análise profunda da sensibilidade do prompt ao nível do modelo é limitada pelo acesso via API a modelos de código fechado, como o ChatGPT.