Resumo Técnico: Q-DAPS (Dificuldade de Pergunta baseada em Pontuações de Plausibilidade de Resposta)

Declaração do Problema

Estimar a dificuldade de perguntas é essencial para avaliar e melhorar Modelos de Linguagem de Grande Porte (LLMs) em sistemas de Resposta a Perguntas (QA). Abordagens existentes geralmente dependem de fórmulas de legibilidade, sinais baseados em recuperação ou estatísticas de popularidade. No entanto, esses métodos frequentemente falham em capturar os desafios de raciocínio específicos impostos aos LLMs modernos, pois são frequentemente fundamentados em legibilidade humana ou métricas de sistemas de recuperação, em vez da incerteza interna do modelo. Além disso, os métodos atuais não abordam explicitamente o risco de alucinação, onde perguntas mais difíceis têm maior probabilidade de elicitar respostas fabricadas. Há uma necessidade de uma métrica de dificuldade orientada a LLM que reflita o quão convincentes as respostas incorretas parecem para o próprio modelo.

Metodologia: Q-DAPS

Os autores propõem o Q-DAPS, um método que estima a dificuldade de uma pergunta calculando a entropia das pontuações de plausibilidade sobre um conjunto de respostas candidatas. O método opera em três etapas distintas:

1. Geração de Candidatos: Um LLM é instruído a gerar $N$ respostas candidatas exclusivas para uma pergunta dada (excluindo a verdade fundamental), juntamente com uma pontuação de plausibilidade (0–100) e uma justificativa para cada uma. O sistema valida essas saídas para garantir que não haja duplicatas, que os intervalos de pontuação sejam válidos e que o número correto de candidatos seja gerado. Se a validação falhar, a geração é retentada com temperatura aumentada.
2. Desviamento de Popularidade: Para mitigar o viés de popularidade (onde LLMs tendem a gerar ou favorecer entidades mais populares), o método ajusta as pontuações de plausibilidade usando estatísticas de visualização de páginas do Wikipedia. A pontuação desviada ($DePls_i$) é calculada como:
   $$DePls_i = Pls_i \times (1 - \alpha \times Pop_i)$$
   onde $Pls_i$ é a pontuação de plausibilidade original, $Pop_i$ é a popularidade normalizada do candidato e $\alpha$ é um hiperparâmetro que controla a força do desviamento.
3. Avaliação: A pontuação final de dificuldade é derivada da entropia das pontuações de plausibilidade normalizadas e desviadas.
   • Primeiro, as pontuações são normalizadas para formar uma distribuição de probabilidade.
   • A entropia ($H(q)$) é calculada: $H(q) = -\sum DePls^{norm}_i \times \log_2 DePls^{norm}_i$.
   • A entropia é normalizada para um intervalo [0, 1] dividindo por $\log_2 N$ (onde $N$ é o número de candidatos).
   • Interpretação: Alta entropia indica que muitas respostas candidatas são igualmente plausíveis para o LLM, significando uma pergunta difícil com alta incerteza de raciocínio. Baixa entropia indica uma distribuição enviesada onde apenas alguns candidatos são plausíveis, significando uma pergunta mais fácil.

Os autores avaliaram três paradigmas de estimativa para gerar pontuações de plausibilidade: Ponto a Ponto (avaliando candidatos individualmente), Par a Par (comparando pares) e Lista a Lista (gerando candidatos e pontuações conjuntamente). A abordagem Lista a Lista foi encontrada como a mais eficaz e computacionalmente eficiente (complexidade $O(1)$).

Contribuições Principais

1. Métrica Novel: Introdução do Q-DAPS, uma métrica de dificuldade orientada a LLM baseada na entropia das pontuações de plausibilidade de respostas, deslocando o foco de propriedades de texto de superfície para a incerteza de raciocínio.
2. Estratégia de Desviamento: Identificação do viés de popularidade na geração de respostas candidatas e introdução de um mecanismo de desviamento leve usando contagens de visualizações do Wikipedia para melhorar a precisão da estimativa.
3. Validação Abrangente: Experimentos extensivos em quatro conjuntos de dados diversos de QA (TriviaQA, Natural Questions, MuSiQue, QASC) cobrindo tarefas de raciocínio simples e complexas. O método foi testado contra baselines baseadas em legibilidade, popularidade, recuperadores, prompts e incerteza.
4. Análise de Robustez: Estudos de ablação demonstrando que o Q-DAPS permanece eficaz mesmo sem acesso à resposta dourada, sem desviamento de popularidade e em diferentes LLMs subjacentes (variando de 7B a 70B parâmetros).
5. Alinhamento Humano: Estudos de avaliação humana confirmando que as estimativas de dificuldade do Q-DAPS alinham-se bem com julgamentos humanos e que perguntas rotuladas como "difíceis" pelo Q-DAPS são de fato mais difíceis para humanos responderem corretamente.

Resultados Experimentais

• Desempenho: O Q-DAPS superou consistentemente todos os métodos de baseline (incluindo Flesch-Kincaid, Gunning-Fog, PopQA e métodos baseados em incerteza) em todos os quatro conjuntos de dados. Ele alcançou os maiores escores de Cohen's $d$ (separando perguntas fáceis e difíceis) e de Spearman's $\rho$ (correlação com o desempenho do modelo).
• Entropia vs. Média: A abordagem de avaliação baseada em entropia superou significativamente o uso da pontuação média de plausibilidade, confirmando que a distribuição da plausibilidade (incerteza) é um sinal mais forte para dificuldade do que a média.
• Descobertas de Ablação:
  • Resposta Dourada: Embora fornecer a resposta dourada melhore o desempenho, o Q-DAPS permanece superior às baselines mesmo quando a resposta dourada é retida, tornando-o aplicável a cenários do mundo real onde as respostas são desconhecidas.
  • Desviamento: Remover o componente de desviamento de popularidade reduziu o desempenho, mas não invalidou o método, sugerindo que o desviamento é um refinamento benéfico, em vez de um requisito estrito.
  • Tamanho do Modelo: O método performou robustamente em diferentes tamanhos de modelo, embora modelos maiores (por exemplo, LLaMA 3.3 70B) tenham produzido resultados ligeiramente melhores.
• Análise de Erros: Os autores identificaram padrões específicos de divergência onde estimativas baseadas em entropia diferem de resultados de avaliação de correspondência exata (por exemplo, "superestimação da dificuldade por entropia" em perguntas factuais baseadas em listas com muitas respostas semanticamente relacionadas). Eles argumentam que esses casos refletem a riqueza do espaço de respostas, em vez de falha do modelo.

Significado e Alegações

O artigo afirma que o Q-DAPS fornece uma abordagem interpretável, escalável e resiliente a vieses para a estimativa de dificuldade de perguntas. Seu significado reside em sua perspectiva operacional: ele liga diretamente a dificuldade à detecção de risco de alucinação. Ao medir o quão plausíveis as respostas incorretas parecem para um LLM, o Q-DAPS pode servir como uma ferramenta prática para:

• Seleção de Modelo: Escolher LLMs mais fortes para domínios onde as perguntas são consistentemente estimadas como difíceis.
• Roteamento de Perguntas: Direcionar perguntas de alta dificuldade para revisores humanos em bases de conhecimento.
• Ativação de Salvaguardas: Exigir citações ou confirmação do usuário para perguntas estimadas como tendo alta incerteza.

Os autores enfatizam que o Q-DAPS captura a ambiguidade intrínseca do espaço de respostas a partir da perspectiva do modelo, oferecendo uma visão mais matizada da dificuldade do que métricas tradicionais de legibilidade ou recuperação. Sugere-se trabalho futuro para explorar extensões multilíngues e multimodais.