Resumo Técnico: Raciocínio de Caminho Conformal (CPR)

1. Declaração do Problema

A Resposta a Perguntas em Grafos de Conhecimento (KGQA) permite raciocínio interpretável ao traçar caminhos através de triplos estruturados de entidade-relação. No entanto, em domínios de alto risco (por exemplo, diagnósticos médicos, finanças), fornecer uma única resposta determinista é frequentemente insuficiente devido às ambiguidades inerentes nos grafos relacionais. Abordagens existentes carecem de avaliações rigorosas de confiabilidade.

Embora a Previsão Conformal (CP) ofereça um framework para gerar conjuntos de previsão com garantias estatísticas de cobertura, aplicá-la à KGQA multi-hop apresenta dois desafios críticos:

1. Violação da Trocabilidade: A CP padrão assume que amostras de calibração e de teste são trocáveis (independentes e identicamente distribuídas). Em Grafos de Conhecimento (KGs), o raciocínio multi-hop cria dependências sequenciais; o conjunto de previsão no salto $k$ determina as entidades alcançáveis no salto $k+1$. Isso cria uma cadeia de dependência de Markov que viola a premissa de independência necessária para garantias conformais padrão.
2. Avaliação Não Discriminativa: Métodos existentes frequentemente dependem de similaridade semântica local ou pontuações atômicas em nível de nó. Essas falham em capturar a coerência global de caminhos multi-hop, forçando mecanismos conformais a adotar limiares excessivamente conservadores para satisfazer a cobertura. Isso resulta em conjuntos de previsão excessivamente grandes que carecem de utilidade prática.

2. Metodologia: Raciocínio de Caminho Conformal (CPR)

Os autores propõem o Raciocínio de Caminho Conformal (CPR), um framework que desloca a unidade de calibração de saltos individuais para caminhos de raciocínio completos, acoplado a um mecanismo de pontuação discriminativa aprendido.

2.1. Previsão Conformal Trocável por Consulta (QE-CP)

Para resolver a violação da trocabilidade, o CPR trata todo o processo de raciocínio para uma única consulta como a unidade de calibração.

• Independência em Nível de Consulta: Embora os caminhos dentro de uma consulta sejam dependentes, consultas individuais são amostras independentes extraídas da mesma distribuição. Ao agregar pontuações de caminho por consulta, o CPR preserva a trocabilidade em nível de consulta.
• Definição da Pontuação de Não Conformidade: Para uma consulta $q$, a pontuação de não conformidade $S(q)$ é definida como a pontuação de caminho mínima entre todos os caminhos recuperados que terminam em uma entidade de resposta correta. Se nenhum caminho correto for encontrado, a pontuação é $+\infty$.
• Calibração: Um limiar $\hat{\tau}_\alpha$ é computado como o quantil $(1-\alpha)$ das pontuações de um conjunto de calibração. O conjunto de previsão final inclui todos os caminhos com pontuações abaixo deste limiar, garantindo que o conjunto contenha pelo menos um caminho de raciocínio correto com probabilidade $1-\alpha$.

2.2. Pontuação Discriminativa de Caminhos via RCVNet

Para garantir que os conjuntos de previsão sejam compactos (alta eficiência), o CPR introduz a Rede de Valor Conformal Residual (RCVNet), treinada para produzir pontuações de caminho altamente discriminativas.

• Coleta de Trajetórias Guiada por PUCT: Para abordar a escassez de caminhos de treinamento de verdade fundamental, os autores empregam Preditor + Limites Superiores de Confiança aplicados a Árvores (PUCT). Esta estratégia de exploração equilibra a relevância semântica com a exploração de relações pouco visitadas.
  • Gera pares de caminhos positivo-negativo: Caminhos positivos incluem caminhos de raciocínio de verdade fundamental e caminhos válidos alternativos; caminhos negativos compartilham prefixos corretos, mas desviam no salto final.
  • Acumula priors estruturais em nível de relação (priors conjugados Beta-Bernoulli) indicando a taxa de sucesso empírica de relações específicas.
• Arquitetura RCVNet: Uma rede residual leve que recebe como entrada características de caminho (similaridade semântica, embeddings de caminho e priors de relação aprendidos).
  • É otimizada usando uma perda de classificação em pares para garantir que caminhos corretos recebam pontuações mais baixas (mais confiáveis) do que os incorretos.
  • Utiliza camadas FiLM para injetar informações contextuais de alta dimensão no processamento de características escalares.

2.3. Recuperação TreeG

Durante a inferência, o CPR utiliza TreeG, um método de recuperação baseado em árvore que aproveita as pontuações da RCVNet aumentadas por dicas de relação geradas por um LLM. O TreeG expande caminhos salto a salto, classificando candidatos globalmente para reter um conjunto compacto de caminhos ativos para o próximo passo, garantindo recuperação online eficiente sem a sobrecarga estocástica do PUCT.

3. Principais Contribuições

1. Calibração Conformal Trocável por Consulta: Uma estratégia de calibração inovadora que encapsula dependências multi-hop em pontuações em nível de consulta, preservando a premissa de trocabilidade necessária para garantias estatísticas válidas em KGQA.
2. Pontuação Discriminativa de Caminhos Aprendida: A introdução da RCVNet, treinada em trajetórias coletadas pelo PUCT, que aprende a distinguir caminhos corretos de negativos plausíveis usando coerência global de caminho e priors estruturais, levando a conjuntos de previsão significativamente mais apertados.
3. Validação Empírica: Demonstração de que o CPR alcança garantias de cobertura válidas enquanto reduz substancialmente os tamanhos dos conjuntos de previsão em comparação com baselines conformais existentes.

4. Resultados Experimentais

Os experimentos foram conduzidos nos benchmarks WebQSP e ComplexWebQuestions (CWQ).

• Cobertura e Eficiência: O CPR supera significativamente as baselines (incluindo UaG, CLM e LoFreeCP).
  • No WebQSP no nível de risco $\alpha=0.5$, o CPR alcançou uma Taxa de Cobertura Empírica (ECR) de 61,4% com um Tamanho Médio do Conjunto de Previsão (APSS) de 7,14. Em contraste, a baseline state-of-the-art UaG alcançou uma ECR mais baixa de 51,8% com um APSS muito maior de 14,29.
  • No conjunto de dados mais desafiador CWQ, a UaG falhou em satisfazer garantias de cobertura para $\alpha \le 0.5$ e produziu conjuntos de previsão massivos (APSS > 120). O CPR manteve cobertura válida em todos os níveis de risco com um APSS de 8,35 em $\alpha=0.6$.
• Eficiência de Cobertura: O CPR demonstrou uma melhoria de 140% na Eficiência de Cobertura (razão ECR/APSS) sobre a UaG no WebQSP e uma melhoria de 15x no CWQ.
• Estudos de Ablação: A remoção da orientação PUCT ou da RCVNet resultou em desempenho degradado, confirmando que trajetórias de treinamento de alta qualidade e pontuação discriminativa são essenciais para conjuntos de previsão compactos e válidos.

5. Significado e Alegações

O artigo alega que o CPR fornece um framework confiável para KGQA ao preencher a lacuna entre a validade estatística formal da Previsão Conformal e a complexidade do raciocínio multi-hop.

• Confiabilidade: Oferece garantias rigorosas de cobertura, assegurando que a verdade fundamental esteja contida dentro do conjunto de previsão em um nível de risco especificado pelo usuário.
• Praticidade: Ao reduzir os tamanhos dos conjuntos de previsão em aproximadamente 40% em comparação com baselines conformais, enquanto melhora a cobertura em 34%, o CPR torna previsões baseadas em conjuntos acionáveis para sistemas de suporte à decisão.
• Escopo: Os autores posicionam o CPR como uma ferramenta de suporte à decisão para aplicações de alto risco (saúde, finanças) onde a confiança calibrada é crítica. Eles notam explicitamente que as garantias de cobertura são estatísticas e dependem da qualidade do grafo de conhecimento subjacente, e que o CPR não deve substituir o julgamento de especialistas em domínios críticos para a segurança.