Improving Attributed Long-form Question Answering with Intent Awareness

Título: Melhorando a Resposta a Perguntas Longas com Atribuição através da Consciência de Intenção

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais utilizados para gerar relatórios longos, intensivos em conhecimento e baseados em pesquisa (conhecidos como "Deep Research"). No entanto, há uma lacuna fundamental: embora esses modelos sejam treinados em diversos documentos acadêmicos, eles não são expostos aos processos de raciocínio e intenções que guiam os autores humanos na criação desses documentos.

• Limitação Atual: Os modelos aprendem a imitar o estilo de escrita humana, mas não modelam explicitamente o pensamento por trás da escrita (planejamento, organização e propósito de cada parágrafo ou citação).
• Consequência: Relatórios gerados podem carecer de coesão narrativa, atribuição inadequada de fontes e dificuldade em sintetizar informações complexas, pois o modelo não "sabe" por que está usando uma determinada citação ou estruturando um parágrafo de uma forma específica.
• Hipótese: Aumentar a "consciência de intenção" (intent awareness) do modelo pode melhorar significativamente a qualidade dos relatórios gerados, tanto na precisão das citações quanto na legibilidade.

2. Metodologia

Os autores propõem um Framework de Escrita Consciente de Intenção que opera em dois níveis: Intenções de Parágrafo e Intenções de Citação.

A. Representação de Intenção (Schema Estruturado)
O framework utiliza um esquema baseado em tags inline, inspirado em trabalhos anteriores como STaR e ToW. As intenções são representadas com um tipo e uma justificativa (rationale) em linguagem natural:

• Formato: <begin_intent> [tipo_intenção] justificativa <end_intent>
• Tags: <bpit>/<epit> para parágrafos e <bcit>/<ecit> para citações.

B. Tipos de Intenção
O sistema define categorias granulares baseadas em literatura existente (ACL-ARC para citações e modos de discurso para parágrafos):

• Intenções de Citação (6 tipos): Background (Contexto), Motivation (Motivação), Uses (Usos), Extension (Extensão), Comparison/Contrast (Comparação/Contraste), Future (Trabalho Futuro).
• Intenções de Parágrafo (8 tipos): Exposition (Exposição), Definition (Definição), Argumentation (Argumentação), Compare-contrast (Comparar-contrastar), Cause-effect (Causa-efeito), Problem-solution (Problema-solução), Evaluation (Avaliação), Narration (Narrativa).

C. Abordagens de Implementação
O estudo explora duas formas de incorporar essa consciência:

1. Inferência (Test-time): O modelo é instruído a gerar relatórios onde as tags de intenção são embutidas no texto gerado (uma variante de test-time scaling ou verbalized intents).
2. Treinamento (Fine-tuning):
   • Um modelo "professor" (grande) gera dados sintéticos com intenções embutidas.
   • Modelos menores (alunos) são ajustados (SFT) usando esses dados.
   • Variações de SFT:
     • Explicit: O modelo aprende a gerar as tags e o texto.
     • Implicit: As tags são removidas antes do treinamento, mas o modelo aprende a estrutura lógica subjacente.
     • Multiview: O conjunto de dados é decomposto em quatro sub-tarefas (com todas as intenções, apenas parágrafos, apenas citações, e sem intenções) para reduzir a complexidade da instrução.

3. Contribuições Principais

• Framework de Intenção: Introdução de um esquema estruturado para elicitar e representar intenções de escrita e citação durante a geração de texto.
• Geração de Dados Sintéticos de Alta Qualidade: Demonstração de que dados gerados por modelos grandes com consciência de intenção podem ser usados para distillation (ensino), permitindo que modelos pequenos alcancem o desempenho de modelos grandes.
• Análise de Comportamento: Evidência de que a consciência de intenção altera o comportamento do modelo, levando a um uso mais estratégico e abrangente das informações recuperadas (retrieval).
• Estudo com Usuários: Validação humana de que as anotações de intenção melhoram a transparência e a legibilidade, ajudando os leitores a navegar em relatórios complexos.

4. Resultados Experimentais

Os experimentos foram conduzidos em três benchmarks de geração de relatórios longos: SQA-CS-V2 (AstaBench), DeepScholar Bench e ResearchQA.

• Desempenho em Modelos Grandes (Inferência):

  • A adição de intenções durante a inferência melhorou consistentemente o desempenho em todos os modelos testados (o3, gemini-2.5-pro, Claude opus-4).
  • Ganhos Médios: +2,9 pontos absolutos na métrica global para modelos grandes.
  • Métricas de Citação: Melhoria significativa na precisão e recall de citações (ganhos de +3,7 pontos em média para modelos grandes), indicando melhor atribuição de fontes.

• Desempenho em Modelos Pequenos (Treinamento SFT):

  • Modelos pequenos (ex: Qwen3-8B, Llama3.1-8B) treinados com dados conscientes de intenção superaram significativamente as versões base e o baseline SFT.
  • Ganhos Médios: +12,3 pontos absolutos na métrica global.
  • Comparação: As melhores variantes de modelos pequenos alcançaram desempenho comparável ao do modelo grande gemini-2.5-pro.
  • A variante Multiview SFT mostrou-se particularmente eficaz para modelos de 8B, superando o baseline de modelos grandes em alguns cenários.

• Análise de Comportamento:

  • Modelos com consciência de intenção utilizaram uma maior porcentagem de candidatos recuperados (papers) para apoiar suas afirmações, sem perder precisão.
  • Houve uma maior sobreposição nas citações usadas por modelos pequenos treinados e modelos grandes, sugerindo que o SFT alinhou o comportamento de citação dos pequenos aos grandes.

• Estudo de Usuário:

  • Participantes (pesquisadores com mestrado/doutorado) avaliaram relatórios com e sem intenções.
  • Resultado: Relatórios com intenções receberam pontuações significativamente mais altas (4,47 vs 3,84 em escala Likert) na capacidade de ajudar o usuário a decidir se deveria ler um parágrafo ou uma citação específica, indicando melhor navegação e compreensão.

5. Significância e Conclusão

O trabalho demonstra que incorporar elementos do processo de escrita humana — especificamente o planejamento de intenções e a justificação de citações — que geralmente estão ausentes nos dados de treinamento padrão, pode aprimorar drasticamente as capacidades de geração de texto dos LLMs.

• Impacto Prático: A técnica permite que modelos menores e mais baratos (via SFT) realizem tarefas complexas de pesquisa científica com qualidade comparável a modelos proprietários massivos.
• Transparência: O uso de intenções explícitas não apenas melhora a métrica automática, mas também torna o processo de raciocínio do modelo mais transparente para o usuário final, facilitando a verificação de fatos e a compreensão de argumentos complexos.
• Futuro: Os autores sugerem que esquemas de intenção mais hierárquicos e adaptados a domínios específicos (além da ciência) podem levar a sistemas de pesquisa profunda ainda mais robustos.

Em resumo, a "consciência de intenção" atua como uma camada de raciocínio que guia o modelo a organizar informações de forma lógica e atribuída, resolvendo problemas de alucinação e má estruturação comuns em relatórios longos gerados por IA.