Resumo Técnico: Representação de Argumentos e Cobertura (ARC)

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham alcançado fluidez na sumarização abstrativa, sua confiabilidade em domínios de alto risco (como direito e ciência) é comprometida por alucinações frequentes e pela omissão de conteúdo essencial. As métricas de avaliação existentes frequentemente falham em distinguir entre fluidez e completude factual, particularmente na sumarização de documentos longos onde argumentos críticos estão esparsamente distribuídos. Os métodos atuais têm dificuldade em fornecer diagnósticos interpretáveis sobre o que informações específicas estão faltando ou sendo mal representadas, e se os LLMs preservam inerentemente estruturas argumentativas salientes sem supervisão explícita.

Metodologia: O Framework ARC

Os autores introduzem o Argument Representation Coverage (ARC), um framework de avaliação bottom-up projetado para avaliar quão bem os resumos preservam argumentos salientes. O ARC opera hierarquicamente através de três níveis de granularidade:

1. Decomposição em Fatos Atômicos:

   • Papéis de argumentos salientes (ex: Questões, Razões, Conclusões em textos jurídicos; Próprias Alegações, Alegações de Contexto, Dados em textos científicos) são decompostos em conjuntos de fatos atômicos ($F_r$) usando um LLM forte (GPT-4o).
   • Uma verificação de entailment (implicação lógica) filtra fatos gerados excessivamente para garantir que sejam estritamente derivados do argumento original.

2. Avaliação ao Nível de Fato ($\delta$):

   • Cada fato atômico é comparado contra o resumo gerado usando um juiz LLM.
   • O juiz atribui um status binário (suportado ou não) e categoriza o tipo de erro: Ausente (omissão) ou Não Factual (contradição/má representação). Essa separação permite diagnosticar se os erros derivam de uma má seleção de conteúdo ou de imprecisões de geração.

3. Agregação Hierárquica:

   • $ARC_{role}$: A pontuação de cobertura para um papel de argumento específico é a média da cobertura de seus fatos atômicos.
   • $ARC_{score}$: A pontuação global do resumo é a média de todas as pontuações de nível de papel, fornecendo uma medida holística da preservação do argumento.

Datasets e Modelos:
O framework é aplicado a dois domínios:

• CANLII: 1.049 opiniões jurídicas longas onde papéis argumentativos (Questão, Razão, Conclusão) constituem apenas ~7,66% do texto de entrada, mas ~66% do resumo de referência, criando um desafio de "agulha no palheiro".
• DRI (DR. INVENTOR): 40 artigos científicos com conteúdo argumentativo denso (74,14% da entrada).

Oito LLMs de instrução de código aberto (variando de 1B a 14B de parâmetros, incluindo as famílias LLaMA, Mistral e Qwen) foram avaliados nesses datasets.

Principais Resultados

1. Limitações de Cobertura e Tipos de Erro

• Cobertura Incompleta: Mesmo os modelos com melhor desempenho falham em atingir a cobertura de argumentos perfeita. Em domínios jurídicos (CANLII), os melhores modelos estagnam em torno de um $ARC_{score}$ de 0,72, significativamente abaixo da referência humana (0,98).
• Omissão vs. Alucinação: A análise ao nível de fato revela que fatos ausentes são a fonte dominante de erro em todos os modelos e domínios, excedendo em muito os erros factuais (alucinações). Isso sugere que o desafio primário é recuperar e priorizar conteúdo saliente esparso, em vez de gerar fatos incorretos.
• Escalabilidade do Modelo: Modelos maiores geralmente alcançam maior cobertura, mas a lacuna entre o desempenho do modelo e as referências humanas permanece substancial, particularmente em textos jurídicos.

2. Viés Posicional (RQ2)

• Viés em Formato de U: Consistente com trabalhos anteriores, os modelos exibem um viés posicional em forma de U, favorecendo o conteúdo no início e no fim da janela de contexto.
• Impacto em Resumos Jurídicos: No CANLII, onde os resumos de referência não seguem tendências posicionais fixas, esse viés correlaciona-se negativamente com a cobertura ($ARC_{score}$). Argumentos localizados no meio de opiniões jurídicas longas são sistematicamente sub-representados.
• Documentos Científicos: No DRI, a correlação é mais fraca, pois os resumos de referência alinham-se mais proximamente com os vieses posicionais naturais dos LLMs.

3. Viés de Papel Específico (RQ3)

• Preferências Sistemáticas: LLMs exibem preferências sistemáticas por certos papéis argumentativos.
  • Jurídico (CANLII): Os modelos favorecem desproporcionalmente as Conclusões em relação às Questões e Razões. O score de viés ($\beta$) é consistentemente mais baixo para conclusões, indicando que elas são melhor preservadas.
  • Científico (DRI): Alegações de Contexto tendem a ser cobertas de forma menos eficaz do que as Próprias Alegações, mesmo controlando pelo comprimento do argumento.
• Efeito do Tamanho do Modelo: Modelos menores (<3B de parâmetros) exibem scores de viés mais altos, indicando uma cobertura menos equilibrada entre diferentes papéis de argumento.

4. Validação da Métrica

• Correlação com Especialistas: O $ARC_{score}$ alcança a maior correlação com julgamentos de especialistas humanos (Kendall's $\tau$ = 0,465, Pearson's $\rho$ = 0,593) em comparação com métricas padrão (ROUGE, BERTScore) e baselines baseados em decomposição como o FactScore.
• Interpretabilidade: Diferente do FactScore, que fornece apenas cobertura ao nível de fato, o ARC oferece análise multinível (nível de papel e diferenciação de tipo de erro), tornando-o uma ferramenta de diagnóstico superior.
• Robustez do Juiz: O framework performa bem com juízes de código aberto (ex: DeepSeek-R1-Distill-Qwen-14B), que alcançaram correlações ainda maiores que o GPT-4o proprietário em alguns cenários.

Significância e Alegações

O artigo alega que o ARC fornece uma ferramenta de diagnóstico principada e interpretável para avaliar a cobertura de argumento estruturado na sumarização de contexto longo. Suas principais contribções são:

1. Diagnósticos Granulares: Ao distinguir entre omissões e erros factuais, e ao analisar a cobertura ao nível de papel, o ARC revela por que os resumos falham (ex: perdendo argumentos de meio-termo ou ignorando tipos específicos de papéis) em vez de apenas que eles falham.
2. Evidência de Viés Sistemático: O estudo revela que os atuais LLMs de instrução possuem vieses inerentes para papéis de argumento específicos (favorecendo conclusões) e posições de documento (favorecendo extremidades), o que prejudica sua confiabilidade em domínios de alto risco onde uma argumentação abrangente é necessária.
3. Necessidade de Alinhamento: Os resultados enfatizam que a fluidez sozinha é insuficiente. A lacuna persistente entre o desempenho do modelo e as referências humanas, particularmente em contextos jurídicos esparsos, indica a necessidade de estratégias de alinhamento adicionais (ex: estrutura de argumento explícita no treinamento ou no prompting) para melhorar a cobertura de saliência.

Os autores concluem que, embora o ARC melhore a avaliação da cobertura, ele atualmente enfatiza o recall (capturar fatos salientes) em detrimento da precisão. Trabalhos futuros devem visar a avaliação conjunta de ambas as dimensões e integrar a detecção de saliência diretamente no pipeline de sumarização.