Resumo Técnico: Q-CARE

Declaração do Problema

A Geração Aumentada por Recuperação (RAG) melhora a factualidade de Modelos de Linguagem de Grande Escala (LLMs) ao fundamentar as respostas em evidências recuperadas. No entanto, avaliar sistemas RAG continua sendo um desafio significativo devido à diversidade das consultas dos usuários, que variam de perguntas "fechadas" de busca de fatos a solicitações "abertas" que exigem explicações multifacetadas. Os frameworks de avaliação existentes lutam para fornecer diagnósticos consistentes e granulares através desse espectro.

Os métodos atuais enfrentam um compromisso estrutural entre Dependência de Referência e Granularidade de Avaliação:

• Métodos Dependentes de Referência (ex: RAGEval, RAGChecker) oferecem diagnósticos granulares ao nível de afirmação (claim-level), mas dependem de respostas de ouro (gold answers) ou fragmentos de ouro estáticos, limitando sua aplicabilidade a consultas fechadas.
• Métodos Livres de Referência (ex: DoRAG) podem lidar com consultas abertas, mas frequentemente sacrificam a granularidade, fornecendo sinais grosseiros que carecem de verificação ao nível de afirmação.

Consequentemente, nenhum método existente alcança uma avaliação livre de referência e granular que suporte simultaneamente tipos de consulta tanto fechados quanto abertos.

Metodologia: Framework Q-CARE

Os autores propõem o Q-CARE (Query Coverage and clAim veRifiability for RAG Evaluation), um framework totalmente livre de referência e agnóstico à consulta. O Q-CARE reinterpreta a correção da resposta não como uma verificação isolada de relevância ou correspondência de referência, mas como a satisfação conjunta de dois critérios universais:

1. Cobertura (Coverage): A resposta aborda todas as necessidades de informação implícitas na consulta.
2. Verificabilidade (Verifiability): Cada afirmação na resposta é suportada pela evidência recuperada.

O Q-CARE opera através de três estágios distintos:

Estágio 1: Decomposição de Consulta e Resposta

O framework decompõe entradas complexas em unidades atômicas mínimas e autossuficientes sem perda de informação:

• Decomposição de Consulta: As consultas são divididas em sub-consultas baseadas na complexidade.
  • Foco único (fechada): Mantida como está.
  • Múltiplos aspectos (aberta): Decomposta em perspectivas independentes mínimas.
  • Raciocínio de múltiplos passos: Decomposta em passos lógicos sequenciais.
• Decomposição de Resposta: As respostas geradas são divididas em afirmações atômicas. Cada afirmação é autossuficiente e compreensível sem a consulta original (ex: convertendo "Jenna Ortega" para "Jenna Ortega interpreta Harley em Stuck in the Middle").

Estágio 2: Verificação de Cobertura e Verificabilidade

Usando um "Checador" baseado em LLM, o framework realiza três tarefas de alinhamento para verificar as relações entre as unidades decompostas e os fragmentos recuperados ($C$):

1. Alinhamento Sub-consulta – Fragmento: Determina se um fragmento recuperado contém informação suficiente para responder plenamente a uma sub-consulta específica.
2. Alinhamento Sub-consulta – Afirmação: Identifica quais afirmações da resposta são relevantes para abordar sub-consultas específicas.
3. Alinhamento Afirmação – Fragmento: Verifica se afirmações específicas da resposta são suportadas pela evidência recuperada.

Estágio 3: Computação de Métricas

Os sinais de alinhamento ao nível atômico são agregados em cinco dimensões de avaliação complementares:

Métricas de Recuperação (Sensíveis à Cobertura):
Substituindo rótulos de relevância humana binários por pontuações de cobertura suave derivadas da cobertura de sub-consultas:

• C-Prec@k: A proporção de fragmentos recuperados que contêm informações relevantes para a consulta, medida pela fração de sub-consultas que eles cobrem.
• C-nDCG@k: A qualidade do ranking dos fragmentos recuperados, ponderando as pontuações de cobertura suave pela posição de recuperação.

Métricas de Geração:

• Completude (Completeness): A proporção de sub-consultas plenamente abordadas pela resposta gerada.
• Concisão (Conciseness): A proporção de afirmações da resposta que são relevantes para as sub-consultas cobertas (penalizando a verbosidade irrelevante).
• Verificabilidade (Verifiableness): A proporção de afirmações da resposta suportadas pela evidência recuperada.

Principais Contribuições

1. Princípio de Avaliação Unificado: O artigo redefine a correção da resposta como a satisfação conjunta da cobertura da consulta e da verificabilidade da afirmação, criando um princípio aplicável tanto a consultas fechadas quanto abertas.
2. Framework Q-CARE: Um framework de decomposição que permite a avaliação de ponta a ponta, granular e totalmente livre de referência, avaliando conjuntamente a recuperação e a geração.
3. Benchmark Anotado por Humanos: A construção de um novo benchmark abrangendo oito conjuntos de dados diversos (cobrindo domínios de notícias, finanças, biomédicos, ciência e tecnologia) com anotações humanas para cobertura de sub-consulta e fundamentação de afirmação.
4. Validação Empírica: Demonstração de que o Q-CARE alcança maior concordância com julgamentos humanos do que as métricas de avaliação RAG existentes.

Resultados

Os autores avaliaram o Q-CARE contra quatro métricas RAG existentes (RAGEval, RAGAs, RAGChecker, DoRAG) e métricas tradicionais (Precisão, nDCG, ROUGE-L, EM) em seu benchmark anotado por humanos.

• Correlação com Julgamentos Humanos: O Q-CARE alcançou a maior correlação de Pearson com os julgamentos humanos em todas as dimensões de avaliação (Recuperação e Geração) e para ambos os tipos de consulta. Por exemplo, em consultas abertas, a métrica de Verificabilidade do Q-CARE correlacionou-se em 0,69, superando significativamente o RAGChecker (0,56) e o RAGEval (0,05).
• Agnosticismo de Consulta: Ao contrário das linhas de base que mostraram degradação de desempenho ao passar de consultas fechadas para abertas, o Q-CARE manteve alta correlação em ambos os tipos.
• Benchmarking de Recuperação: Quando aplicado a 21 estratégias de recuperação, as métricas de cobertura do Q-CARE (C-Prec, C-nDCG) revelaram discrepâncias significativas de ranking em comparação com métricas tradicionais, particularmente para recuperadores esparsos e métodos de expansão de consulta. As métricas sensíveis à cobertura aumentaram a correlação de ranking de Spearman entre os rankings de recuperadores de consultas fechadas e abertas de 0,55 para 0,89.
• Benchmarking de Geração: A avaliação de 8 LLMs (incluindo GPT-5, Claude-Sonnet-4 e vários modelos de código aberto) revelou que nenhum modelo único domina todas as dimensões. Por exemplo, modelos proprietários se destacaram em Completude, enquanto o desempenho em Concisão e Verificabilidade variou significativamente por modelo e tipo de consulta.
• Generalização: O Q-CARE generalizou-se com sucesso para RAG de conversação de múltiplos turnos (benchmark MTRAG) sem modificação do framework, alcançando a maior correlação em três de quatro conjuntos de dados.
• Estudos de Ablação: Remover a decomposição de consulta reduziu significativamente a qualidade da avaliação, confirmando que a decomposição é um componente crítico e não um passo auxiliar.

Significância e Alegações

O artigo alega que o Q-CARE aborda um gargalo crítico na avaliação de RAG: a incapacidade de fornecer diagnósticos granulares e consistentes através de diversos tipos de consulta sem depender de respostas de referência caras ou indisponíveis.

Ao mudar o foco da avaliação de "este fragmento é relevante?" ou "isso corresponde à referência?" para "a resposta satisfaz a intenção da consulta e está fundamentada na evidência?", o Q-CARE oferece um framework de avaliação confiável, automatizado e agnóstico à consulta. Os autores postulam que a cobertura da consulta é um fator crítico frequentemente negligenciado em benchmarks RAG confiáveis, e seu framework fornece as ferramentas necessárias para medi-la efetivamente. O trabalho estabelece que a avaliação granular e livre de referência é alcançável e superior aos métodos atuais de estado da arte no alinhamento com o julgamento humano.