LayerRAG-Bench: A Cross-Layer Reliability Benchmark for Agentic Retrieval-Augmented Generation

Resumo Técnico: LayerRAG-Bench

Problema

Sistemas de Geração Aumentada por Recuperação (RAG) Agêntica integram evidências externas, chamadas de ferramentas, interfaces estruturadas, permissões e estado persistente. Embora as métricas existentes avaliem a fidelidade textual e a correção da resposta, elas frequentemente confundem falhas decorrentes de distintas camadas operacionais. Um sistema pode produzir uma resposta que parece textualmente fundamentada, mas que falha devido a evidências obsoletas, incompatibilidades de esquema, negações de autorização ou contextos de sessão incorretos. As abordagens de avaliação atuais correm o risco de atribuir erroneamente o sucesso; por exemplo, a normalização de esquema pode reparar um erro de contrato de ferramenta, mas não pode restaurar evidências ausentes ou sobrepor negações de permissão. Há uma carência de benchmarks que isolem esses modos de falha específicos para determinar se uma estratégia de mitigação realmente corrige sua camada pretendida sem mascarar controles negativos.

Metodologia

O LayerRAG-Bench é um benchmark de confiabilidade cross-layer controlado, projetado para mapear nove cenários de falha específicos para distintas camadas operacionais dentro da pilha RAG.

• Construção do Dataset: O benchmark utiliza um corpus enterprise_v2 contendo 8 domínios empresariais, 80 especificações de políticas, 160 documentos e 240 tarefas. Cada tarefa inclui documentos atuais e substituídos com três variantes de perguntas baseadas em templates.
• Cenários de Falha: O benchmark introduz falhas operacionais não adversariais em nove cenários:
  1. Clean (baseline/limpo)
  2. Stale index (índice obsoleto - frescor da evidência)
  3. Schema drift (deriva de esquema - contrato da ferramenta)
  4. Missing tool output (saída de ferramenta ausente - disponibilidade da ferramenta)
  5. Conflicting evidence (evidência conflitante)
  6. Permission denied (permissão negada - controle de acesso)
  7. Partial tool timeout (timeout parcial de ferramenta - completude da ferramenta)
  8. Corrupted metadata (metadados corrompidos)
  9. Wrong session state (estado de sessão incorreto - contexto de sessão)
• Protocolo de Avaliação:
  • Harness Determinístico: Avalia 240 tarefas sem chamadas de modelo usando um recuperador tfidf_domain_validity para estabelecer a verdade fundamental para recuperação de documentos e validade.
  • Matriz ao Vivo: Aplica as mesmas definições de tarefas e cenários a nove modelos da OpenAI, Anthropic e Gemini. Isso cria uma matriz de 9 modelos × 9 cenários × 2 modos de contrato (Strict vs. Repair) × 240 tarefas, resultando em 38.880 registros.
  • Modos de Contrato:
    • Strict (Estrito): Rejeita saídas de ferramentas que não correspondam ao esquema esperado.
    • Repair (Reparo): Aplica normalização de esquema limitada para tentar a recuperação de deriva de esquema, mas explicitamente não reconstrói evidências ausentes, ignora permissões, atualiza índices ou corrige o contexto de sessão.
• Métricas: O sucesso é definido como uma conjunção de quatro condições: correspondência exata normalizada ($E_t$), recuperação de todos os identificadores de evidência necessários ($R_t$), citação válida à evidência recuperada ($G_t$) e satisfação dos esquemas de chamada de ferramenta ($V_t$). Uma métrica separada de "resolução segura" credita respostas estruturadas não-respostas para condições inseguras.

Principais Contribuições

1. Benchmark Empresarial Reprodutível: Um framework que mapeia nove distintos cenários de falha operacional para camadas de confiabilidade específicas, indo além de pontuações gerais de qualidade de resposta.
2. Condições de Strict e Repair Pareadas: Um design que testa se uma intervenção específica (reparo de esquema) melhora o desempenho em seu alvo (deriva de esquema) enquanto verifica que não "corrige" falsamente falhas não relacionadas (ex: evidência obsoleta ou negações de permissão).
3. Arquivos de Preservação de Privacidade: Arquivos de registros pontuados publicamente contendo 38.880 registros cross-provider e 144 células de integração focadas. Estes permitem a recomputação de agregados, ganhos de reparo e análise de incerteza hierárquica sem exigir acesso à API do provedor ou expor a prosa bruta do modelo.

Resultados

• Recuperação de Schema Drift: A normalização de esquema é altamente eficaz para seu alvo específico. Sob o cenário de "schema drift", o sucesso estrito é 0.000, enquanto o sucesso de reparo sobe para 0.913. Isso representa uma melhoria de 91,3 pontos percentuais com um intervalo de confiança hierárquico de 95% de [85,4, 95,6].
• Limitações Específicas de Camada: Intervenções não são universais. Para cenários envolvendo índices obsoletos, saídas de ferramentas ausentes, negações de permissão e estados de sessão incorretos, o sucesso de reparo permanece em 0.000, idêntico à falha estrita. A normalização de esquema não pode restaurar evidências ausentes ou sobrepor controles de acesso.
• Falsos Positivos de Groundedness (Fundamentação): Depender apenas de "groundedness" (suporte textual) produz falsos positivos substanciais em cenários de não-esquema.
  • Em cenários de "wrong session state", 77,6% dos registros estritos e 78,8% dos registros de reparo estavam fundamentados no texto recuperado, mas falharam no benchmark devido ao contexto incorreto.
  • Em cenários de "stale index", 100% dos registros fundamentados falharam no sucesso estrito.
• Sensibilidade do Recuperador: Auditorias determinísticas mostram que a consciência de validade (distinguir documentos atuais vs. substituídos) é crítica. Remover o reranking de validade reduz o recall top-1 limpo de 0,896 para 0,483. No entanto, a filtragem explícita de domínio é frágil; quando os metadados estão corrompidos, o recall cai para 0.000.
• Integração Focada: Um estudo menor usando LangChain demonstrou que adicionar controles de LayerRAG alcançou 100% de resolução segura (respostas corretas em condições passíveis de resposta + não-respostas estruturadas em condições inseguras), enquanto o baseline alcançou apenas 50%.

Significância e Alegações

O artigo argumenta a favor de um princípio de avaliação por camada específica: uma intervenção de confiabilidade deve ser creditada apenas por reparar seu alvo de camada e não deve ser confundida com uma correção universal.

• Insight Estrutural: O principal achado é estrutural, não orientado a rankings (leaderboards). O reparo de contrato consistentemente recupera a deriva de esquema, enquanto falhas relacionadas a frescor, autorização, completude e estado exigem controles distintos e separados.
• Complementaridade: O LayerRAG-Bench posiciona-se como complementar aos benchmarks existentes de recuperação, fundamentação e factualidade. Ele avalia especificamente se uma estratégia de mitigação corrige a camada que afirma endereçar.
• Agnosticismo de Modelo: Estruturas de falha semelhantes em diferentes provedores (OpenAI, Anthropic, Gemini) sugerem que modelos base mais fortes não eliminam a necessidade de controles de sistema específicos de camada.
• Modéstia das Alegações: Os autores declaram explicitamente que a matriz ao vivo é uma avaliação de sistemas de orçamento fixo, não um ranking comercial de modelos com poder estatístico. O estudo apoia interpretações de nível de mecanismo (ex: "deriva de esquema é reparável porque a evidência permanece presente") em vez de alegações gerais de precisão estrita para modelos específicos.

O trabalho conclui que a confiabilidade operacional em RAG Agêntica requer distinguir entre erros de formato (reparáveis via normalização de esquema) e erros de substância (que exigem verificações de frescor, abstenção consciente de acesso ou isolamento de sessão).