Resumo Técnico: Satisfação de Informação: Um Eixo Centrado no Leitor para Avaliação de Sumarização

Declaração do Problema

A avaliação automática de sumarização atual depende amplamente de métricas que tratam a qualidade do resumo como uma propriedade intrínseca, independente do leitor. As abordagens padrão, como sobreposição lexical (ROUGE) e similaridade baseada em embeddings (BERTScore), comparam resumos candidatos com textos de referência ou documentos de origem. Embora avanços recentes utilizem Grandes Modelos de Linguagem (LLMs) como juízes para avaliar dimensões como coerência e factualidade, esses métodos ainda geralmente assumem uma noção de qualidade de "tamanho único".

Os autores argumentam que esse enquadramento obscurece uma realidade fundamental: a utilidade de um resumo só se realiza quando ele serve às necessidades informacionais específicas de um determinado leitor. Por exemplo, um pesquisador biomédico e um médico de família lendo o mesmo artigo sobre vacinas de mRNA têm necessidades divergentes (detalhes metodológicos vs. implicações clínicas). As métricas existentes falham em capturar esse descompasso porque não modelam o histórico, a expertise ou a "persona" do leitor. Além disso, embora a Sumarização Focada em Consulta (QFS) tente abordar as necessidades do usuário via consultas, os usuários raramente fornecem contexto suficiente em uma única consulta curta para distinguir personas complexas. Consequentemente, há uma falta de frameworks de avaliação que meçam a satisfação de informação — o quanto um resumo resolve a necessidade informacional específica de um leitor dado o seu perfil (persona).

Metodologia

O estudo investiga se as métricas de sumarização existentes podem medir a satisfação de informação através de duas questões de pesquisa (RQs):

1. RQ1: As métricas de avaliação são sensíveis a variações no conteúdo informacional e na persona do leitor?
2. RQ2: As métricas de avaliação concordam com os julgamentos humanos de satisfação de informação?

Configuração Experimental para RQ1 (Testes de Perturbação)

Os autores avaliaram um amplo conjunto de métricas em quatro corpora científicos (arXiv, PubMed, SciTLDR, eLife) usando 50 documentos por dataset. Eles aplicaram cinco perturbações controladas às referências dos resumos para testar a robustez das métricas:

• Sentenças Distratoras: Anexar sentenças não relacionadas (Esperado: Diminuição da pontuação).
• Adição Incremental: Reconstruir o resumo sentença por sentença (Esperado: Aumento da pontuação).
• Alongar/Encurtar: Reescrever o resumo para alterar o comprimento sem alterar o conteúdo (Esperado: Estabilidade da pontuação).
• Público Diferente: Reescrever o resumo para um público-alvo diferente (ex: estudante vs. especialista) (Esperado: Diminuição da pontuação em relação ao público original).

As métricas testadas incluíram:

• Lexicais/Baseadas em Referência: ROUGE, BLEU, chrF, METEOR.
• Baseadas em Embedding/Modelo: BERTScore, BLANC, SummaQA, SUPERT.
• LLM-as-Judge: Prompts usando Llama-3.3-70B e Prometheus-7B avaliando relevância, consistência, fluência, coerência e informatividade.
• Variantes Específicas de Persona: Métricas customizadas (Precisão de Persona e Recall de Persona) que decompõem resumos em "nuggets" (fragmentos de informação) e julgam sua relevância para uma persona específica.

Configuração Experimental para RQ2 (Avaliação Humana)

Os autores conduziram uma avaliação humana especializada envolvendo 20 anotadores voluntários de diversos domínios (Ciência da Computação, medicina, ciência dos materiais).

• Protocolo: Os anotadores forneceram um perfil de persona auto-relatado e uma necessidade de informação genuína (consulta). O sistema recuperou artigos relevantes e gerou quatro resumos candidatos usando um design 2x2: dois modelos (Llama-3.3-70B, DeepSeek-V3.1) cruzados com duas condições (com perfil de persona, sem persona).
• Ranking: Os anotadores classificaram os quatro resumos via um torneio de eliminação simples pareado.
• Análise: Os autores mediram a correlação entre as pontuações das métricas automáticas e as preferências pareadas humanas usando o $\alpha$ de Krippendorff.

Principais Resultados

Testes de Perturbação (RQ1)

A maioria das métricas falhou nos testes básicos de robustez em relação ao conteúdo informacional e mudanças de audiência:

• Injeção de Distratores: Métricas lexicais performaram conforme o esperado, mas muitas métricas "conscientes de conteúdo" (BERTScore, SummaQA) e juízes LLM foram inconsistentes ou falharam em detectar conteúdo fora do tópico.
• Adição Incremental: Métricas lexicais mostraram correlações negativas (pontuando resumos parciais mais alto que os completos devido a artefatos de normalização de comprimento). Apenas o juiz Llama-3.3-70B mostrou correlação positiva, embora com baixa monotonicidade.
• Sensibilidade ao Comprimento: Quase todas as métricas, incluindo BERTScore e a maioria das dimensões de juízes LLM, foram altamente sensíveis a mudanças de comprimento, falhando no teste de estabilidade ($\rho \approx -1.0$).
• Público Diferente: Esta foi a falha mais crítica. Muitas métricas baseadas em LLM (especialmente sob o Prometheus-7B) moveram-se na direção errada, classificando resumos alterados para outro público como de maior qualidade. Embora a maioria das métricas tenha falhado, algumas variantes específicas mostraram o sinal direcional esperado: sob o juiz Llama-3.3-70B, o juiz estilo Anotador passou com $\rho = -0.77$, e sob o Prometheus-7B, Consistência ($\rho = -0.40$) e Recall de Persona ($\rho = -0.60$) passaram. No entanto, comparado às fortes respostas que essas métricas mostraram na injeção de distratores, suas respostas às mudanças de audiência foram geralmente fracas ou inexistentes para a maioria do conjunto de métricas. As métricas lexicais (ROUGE-1/2, chrF, METEOR, cobertura, densidade, compressão) e BERTScore situaram-se exatamente no limiar de aprovação ($\rho = -0.40$), dando apenas um sinal direcional fraco, enquanto ROUGE-L, BLEU, BLANC, SummaQA e SUPERT falharam totalmente. Crucialmente, a maioria das métricas avaliadas foi insensível ou anticorrelacionada com as reescritas de mudança de audiência, a dimensão onde a satisfação de informação mais varia entre os usuários.

Correlação de Avaliação Humana (RQ2)

• Preferências Humanas: Anotadores geralmente preferiram resumos gerados pelo DeepSeek-V3.1 em vez do Llama-3.3-70B. Resumos personalizados (condicionados à persona) foram preferidos em relação aos genéricos, mas esse efeito dependeu fortemente da capacidade do modelo subjacente; os outputs personalizados do DeepSeek foram significativamente preferidos, enquanto os outputs personalizados do Llama não mostraram uma vantagem forte.
• Correlação de Métricas: Nenhuma família de métricas alcançou concordância com as preferências humanas significativamente acima do acaso ($\alpha = 0$).
  • Métricas tradicionais (ROUGE, BERTScore) variaram de $\alpha = -0.029$ a $0.173$.
  • Métricas LLM-as-judge variaram de $\alpha = -0.179$ a $0.158$.
  • Variantes conscientes de persona (Precisão/Recall de Persona) performaram particularmente mal, com valores de $\alpha$ de $-0.150$ sob o Prometheus-7B, indicando um desacordo sistemático com o julgamento humano em vez de mero ruído.

Principais Contribuições

1. Definição de Satisfação de Informação: O artigo operacionaliza a "satisfação de informação" como um eixo de avaliação centrado no leitor, definido pela interseção de uma consulta específica e a persona do leitor (papel, expertise e contexto).
2. Análise de Robustez: O estudo demonstra que as métricas de sumarização populares, incluindo abordagens de estado da arte de LLM-as-judge, falham em detectar mudanças significativas no conteúdo informacional em relação às necessidades do leitor. Elas são frequentemente mais sensíveis a corrupções superficiais (como comprimento) do que a mudanças relevantes para a audiência.
3. Benchmark de Avaliação Humana: Os autores fornecem um dataset e um protocolo onde os julgamentos humanos são ancorados a personas e consultas específicas, revelando que as métricas atuais têm correlação próxima de zero com essas preferências centradas no usuário.
4. Limitações de Métricas de Persona: O artigo mostra que simplesmente adicionar informações de persona ao prompt da métrica (como feito em suas métricas customizadas de Precisão/Recall de Persona) é insuficiente para capturar a satisfação de informação se a lógica de avaliação subjacente não pesar adequadamente a importância da informação ou considerar o conhecimento prévio do leitor.

Significância e Alegações

O artigo alega que as métricas de sumarização existentes são medidas insuficientes de satisfação de informação. Os autores argumentam que o progresso na sumarização centrada no usuário não pode ser alcançado simplesmente aplicando as métricas atuais a outputs personalizados. Em vez disso, o campo requer frameworks de avaliação que explicitamente modelem:

• Para quem o resumo é destinado.
• O que o leitor busca aprender.
• Como ponderar a informação com base na importância para aquele leitor específico.

Os autores concluem que o gargalo não é a ausência de dados de persona nos prompts, mas a incapacidade fundamental das métricas atuais de simular o julgamento comparativo que um humano faz ao determinar se um resumo satisfaz suas necessidades informacionais específicas. O trabalho fornece uma base e um dataset para pesquisas futuras em métricas que verdadeiramente meçam a satisfação de informação.