Resumo Técnico: Deepchecks – Avaliação de Geração Aumentada por Recuperação (RAG)

Declaração do Problema

Sistemas de Geração Aumentada por Recuperação (RAG), que integram fontes de conhecimento externas com Modelos de Linguagem de Grande Escala (LLMs), estão transformando domínios como saúde, finanças e atendimento ao cliente, mitigando alucinações e melhorando a relevância contextual. No entanto, avaliar esses sistemas permanece um desafio significativo. A natureza estocástica das saídas dos LLMs e a interação complexa entre os componentes de recuperação e geração tornam difícil a avaliação ponta a ponta. Metodologias existentes frequentemente carecem de uma abordagem unificada que possa avaliar simultaneamente a qualidade da recuperação, a fidelidade da geração e a segurança sem depender exclusivamente de verdades fundamentais (ground truth) anotadas por humanos e caras. Além disso, benchmarks genéricos frequentemente falham em capturar as nuances de implantações específicas de domínio no mundo real.

Metodologia

O artigo apresenta o Deepchecks, um framework de avaliação modular e ponta a ponta projetado para abordar essas lacunas. A metodologia estrutura-se em torno de três pilares centrais:

1. Decomposição Baseada em Propriedades

O Deepchecks decompõe a tarefa complexa de RAG em "propriedades" gerenciáveis e independentes para permitir o rastreamento granular de erros:

• Relevância da Recuperação: Avalia se as informações recuperadas abordam a consulta de entrada.
• Fundamentado no Contexto: Avalia se a resposta gerada é factualmente consistente com a fonte recuperada (fidelidade).
• Completude: Mede se a resposta aborda de forma abrangente todas as partes da pergunta.
• Propriedades de Segurança: Detecta toxicidade, vazamento de Informações Pessoalmente Identificáveis (PII), tentativas de jailbreak e violações éticas.
• Semelhança com Saída Esperada: (Opcional) Quando uma resposta de referência existe, esta métrica compara a saída gerada contra a verdade fundamental.

2. Pipeline Inovador "Fundamentado no Contexto"

Para abordar especificamente as alucinações, o Deepchecks propõe um pipeline de múltiplos passos para a propriedade "Fundamentado no Contexto", distinto das abordagens padrão de LLM como Juiz:

1. Extração: Um Modelo de Linguagem Pequeno (SLM) proprietário extrai declarações factuais da saída do LLM.
2. Recuperação: Passagens relevantes são recuperadas do contexto para cada declaração específica.
3. Classificação: Um SLM proprietário, treinado em dados semelhantes aos de produção, classifica se cada declaração é inferida pelas passagens recuperadas.
4. Agregação: Pontuações de inferência são agregadas em uma pontuação unificada.

3. Avaliação Holística Ponta a Ponta (E2E)

O Deepchecks emprega um mecanismo de agregação aprendido para sintetizar pontuações das propriedades centrais em uma única métrica holística. Este mecanismo classifica as interações em três categorias:

• Negativa: Qualquer falha nas propriedades centrais (relevância, fundamentação, completude, segurança) dispara uma classificação negativa.
• Positiva: A resposta deve atender a altos limiares em todas as propriedades centrais.
• Desconhecida: Interações que passam nas métricas, mas não atendem aos critérios rigorosos para "Positiva".

4. Ferramentas de Ciclo de Vida

Além de métricas estáticas, o framework inclui ferramentas para:

• Análise de Causa Raiz (RCA): Identificar componentes específicos do pipeline (por exemplo, recuperação vs. geração) responsáveis por falhas.
• Comparação de Versões: Análise de métricas lado a lado para avaliar atualizações do sistema.
• Monitoramento de Produção: Rastreamento de métricas sem referência ao longo do tempo para detectar desvio de desempenho e mudanças na distribuição de dados.

Contribuições Principais

• Framework Integrado: Um sistema unificado que combina avaliação de recuperação e geração com verificações de segurança, indo além de avaliações isoladas.
• Capacidade sem Referência: A capacidade de avaliar sistemas RAG efetivamente sem exigir respostas de verdade fundamental anotadas por humanos, utilizando SLMs proprietários e raciocínio baseado em LLM.
• Geração de Métrica Holística: O artigo afirma ser o primeiro framework a gerar uma única métrica holística para pipelines RAG que alinha com a intuição humana regarding interações positivas ou negativas.
• Ferramentas Prontas para Produção: A inclusão de ferramentas de RCA, comparação de versões e monitoramento de desvio especificamente projetadas para a melhoria iterativa e manutenção de sistemas RAG implantados.

Resultados

O artigo compara o Deepchecks com frameworks estabelecidos, especificamente RAGAS e LangSmith, em vários conjuntos de dados:

• Benchmarks de Fundamentação: Na tarefa "Fundamentado no Contexto", o Deepchecks alcançou pontuações ROC-AUC superiores em comparação com RAGAS e LangSmith em vários conjuntos de dados:

  • Benchmark TRUE: Deepchecks (0,86) vs. RAGAS (0,65) vs. LangSmith (0,63).
  • SQuAD: Deepchecks (0,92) vs. RAGAS (0,83) vs. LangSmith (0,65).
  • PubmedQA: Deepchecks (0,84) vs. RAGAS (0,80) vs. LangSmith (0,78).

• Avaliação Ponta a Ponta: Em testes de precisão em classificação binária balanceada (Interações Positivas vs. Negativas), o Deepchecks demonstrou desempenho superior ou competitivo:

  • Conjuntos de Dados Públicos: O Deepchecks alcançou alta precisão (por exemplo, 0,96 no RAG-dataset-12000, 0,94 no SQUAD), geralmente superando o RAGAS e igualando ou excedendo o LangSmith.
  • Conjuntos de Dados de Clientes: Em cenários de produção do mundo real (Suporte Técnico e Perfis de Emprego), o Deepchecks superou significativamente os concorrentes. Por exemplo, no Cliente 2 (Perfis de Emprego), o Deepchecks alcançou 0,81 de precisão, comparado a 0,46 para o RAGAS e 0,54 para o LangSmith.

Significado e Alegações

O artigo posiciona o Deepchecks como um avanço significativo na avaliação de sistemas RAG impulsionados por LLMs. Seu significado principal reside em sua capacidade de:

1. Preencher a Lacuna entre Pesquisa e Produção: Ao oferecer ferramentas para análise de causa raiz e monitoramento de produção, aborda as necessidades práticas de implantar sistemas RAG em ambientes dinâmicos.
2. Aumentar a Confiabilidade em Cenários do Mundo Real: O desempenho superior do framework em conjuntos de dados de clientes sugere que ele está melhor calibrado para as complexidades das distribuições de dados do mundo real em comparação com métodos otimizados principalmente para benchmarks públicos.
3. Fornecer Insights Acionáveis: Ao decompor falhas em propriedades específicas, o framework permite depuração direcionada em vez de depender de pontuações agregadas opacas.
4. Alinhar-se às Expectativas do Usuário: O mecanismo de agregação aprendido é projetado para refletir a intuição humana regarding a qualidade do sistema, garantindo que as avaliações estejam alinhadas com a satisfação real do usuário e requisitos de segurança.

Os autores concluem que o Deepchecks fornece uma base robusta para avaliar confiabilidade, relevância e satisfação do usuário, oferecendo uma ferramenta alinhada ao usuário para avançar o estado da arte em aplicações de IA generativa.