Resumo Técnico: SCPRM para Resposta a Perguntas em Grafos de Conhecimento

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) demonstraram capacidades robustas em raciocínio complexo por meio do prompting de Cadeia de Pensamento (CoT). No entanto, a estrutura linear do CoT torna os LLMs vulneráveis à propagação de erros, onde um único erro intermediário pode desviar toda a trajetória de raciocínio. Embora Modelos de Recompensa de Resultado (ORMs) verifiquem respostas finais, eles não conseguem distinguir entre respostas corretas derivadas de raciocínio lógico e aquelas resultantes de alucinações ou erros compensatórios.

Modelos de Recompensa de Processo (PRMs) abordam isso avaliando etapas intermediárias. No entanto, PRMs existentes frequentemente sofrem de um efeito de compensação de risco: em tarefas como raciocínio matemático, uma etapa intermediária arriscada ou incorreta pode ser compensada por etapas subsequentes corretas, levando o modelo a atribuir altas recompensas a trajetórias de raciocínio defeituosas. Essa questão é crítica na Resposta a Perguntas em Grafos de Conhecimento (KGQA), particularmente em domínios sensíveis a riscos como medicina e direito. Em Grafos de Conhecimento (KGs), múltiplos caminhos podem existir entre entidades, mas apenas caminhos específicos são logicamente válidos. Uma etapa arriscada (por exemplo, atravessar um tipo de entidade irrelevante) torna um caminho defeituoso, mesmo que ele acidentalmente alcance a resposta final correta. Além disso, modelos de recompensa condicional existentes frequentemente introduzem um viés de comprimento, onde caminhos de raciocínio mais longos são desproporcionalmente penalizados devido à natureza multiplicativa da agregação de probabilidades, dificultando a exploração de caminhos multihop necessários.

Metodologia: Modelo de Recompensa de Processo Cumulativo Consciente de Esquema (SCPRM)

Os autores propõem o SCPRM, um modelo de recompensa projetado para avaliar caminhos de raciocínio condicionando-se ao prefixo de raciocínio e incorporando a distância de esquema. A abordagem é inspirada no algoritmo de busca A*, desconectando a avaliação em recompensas passadas cumulativas e recompensas futuras.

1. Modelagem de Recompensa Passada Cumulativa

Para prevenir a compensação de risco, o SCPRM modela a segurança de uma trajetória de raciocínio passo a passo.

• Probabilidade de Segurança Passo a Passo: Para um estado $s_k$ em uma trajetória $\pi$, o modelo prevê uma probabilidade de segurança $p_k$ usando uma cabeça de risco ($\phi$) condicionada ao prompt, à consulta e ao prefixo de raciocínio até $k$.
• Acumulação Logarítmica: Em vez de agregação multiplicativa (que leva a recompensas que desaparecem), a recompensa passada cumulativa $G(s_k)$ é calculada como a soma logarítmica das probabilidades de segurança condicionais:
  $$G(s_k) = \sum_{t=1}^{k} \log(1 - p_t)$$
  Esta formulação garante que um único passo de alto risco (baixo $1-p_t$) imponha uma penalidade persistente e multiplicativa na recompensa total, efetivamente vetando trajetórias arriscadas que PRMs convencionais poderiam resgatar.

2. Modelagem de Recompensa Futura Consciente de Esquema

Para guiar a exploração sem viés de comprimento, o SCPRM estima o sucesso futuro com base no alinhamento entre o caminho de raciocínio atual e as restrições implícitas da consulta.

• Extração de Esquema: A consulta é analisada para extrair um esquema de consulta (por exemplo, doença → gene → miRNA), representando as restrições lógicas. O caminho de raciocínio atual é representado por um esquema de raciocínio baseado em tipos de entidades e relações.
• Estimativa de Recompensa Futura: Uma cabeça de esquema ($\psi$) calcula a similaridade entre o embedding da consulta e o embedding do caminho atual. A recompensa futura $H(s_k)$ é definida como a probabilidade logarítmica de sucesso futuro, otimizada para minimizar a distância entre o esquema previsto e o esquema "verdadeiro" derivado das restrições da consulta. Isso garante consistência lógica em caminhos multihop sem penalizar o comprimento do caminho.

3. Treinamento e Otimização

O modelo é treinado usando uma combinação de perda de classificação por pares e perda de recompensa futura:

• Perda por Pares: Caminhos positivos (corretos, sem risco) são classificados acima de caminhos negativos (contendo erros). A perda maximiza a diferença de recompensa entre pares positivos e negativos, incluindo uma penalidade específica para o primeiro passo errôneo para permitir a poda precoce.
• Perda Futura: A probabilidade prevista de sucesso futuro é otimizada contra uma recompensa futura verdadeira derivada da distância de esquema.
• Perda Total: $L = L_{pair} + \lambda \cdot L_{future}$.

4. Integração com MCTS

O SCPRM é integrado à Busca em Árvore Monte Carlo (MCTS) como função de valor. O processo de busca envolve seleção, expansão, avaliação e retropropagação. O SCPRM avalia cada ação potencial (tripleta) com base no estado atual, guiando a busca em direção a trajetórias de alta recompensa. A resposta final é selecionada a partir dos top-$k$ caminhos com as maiores recompensas cumulativas.

Principais Contribuições

1. Arquitetura PRM Não Compensatória: O SCPRM introduz um mecanismo de recompensa cumulativa usando probabilidades condicionais que matematicamente garante que passos arriscados imponham penalidades persistentes, prevenindo o efeito de "compensação de risco" comum em PRMs aditivos.
2. Estimativa Futura Consciente de Esquema: Os autores propõem um módulo de recompensa futura aprendível que utiliza esquemas lógicos analisados a partir de consultas. Ao calcular a distância de esquema, o modelo aprende a lógica da consulta e supera o viés de comprimento inerente aos modelos de recompensa condicional tradicionais.
3. Desempenho Forte em KGQA Sensível a Riscos: O framework demonstra desempenho superior em domínios médicos e legais, onde a segurança lógica é primordial, bem como em benchmarks gerais de raciocínio multihop.

Resultados Experimentais

Os autores avaliaram o SCPRM em três conjuntos de dados: KGQA Médica, KGQA Legal e Complex WebQuestions (CWQ).

• Classificação por Pares (RQ1): O SCPRM superou consistentemente os modelos de recompensa de base (Vanilla PRM, PQM, CRM) em todos os conjuntos de dados e LLMs base (Qwen2.5-1.5B, Qwen3-4B, Llama3.1-8B). Por exemplo, no conjunto de dados Medical KGQA com Llama3.1-8B, o SCPRM alcançou 95,34% de precisão por pares, significativamente maior que a melhor base seguinte (91,83%).
• Desempenho de Raciocínio em KG (RQ2 & RQ3): Integrado ao MCTS, o SCPRM-MCTS alcançou uma melhoria média de 1,18% em Hits@k sobre bases fortes. Notavelmente, o SCPRM-MCTS usando um modelo de 8B parâmetros (Llama3.1-8B) superou métodos baseados em prompting que utilizavam o maior e de código fechado GPT-4o-mini em tarefas de KGQA Médica e Legal.
• Estudo de Ablação: A remoção da Recompensa Cumulativa (w/o CR) causou degradação severa na precisão nível-passo (queda de ~10%), confirmando seu papel na penalização de erros históricos. A remoção da Recompensa Futura (w/o FR) impactou significativamente o Hits@k ponta a ponta (queda de ~12% em KGQA Legal), destacando seu papel na seleção de caminhos e previsão.
• Robustez: O modelo demonstrou degradação graciosa sob condições de esquema ruidosas (até 50% de ruído), mantendo desempenho robusto sem falha catastrófica.

Significado e Alegações

O artigo alega que o SCPRM aborda uma lacuna crítica na avaliação de raciocínio para domínios sensíveis a riscos. Ao modelar explicitamente a natureza não compensatória dos erros e incorporar previsão consciente de esquema, o modelo fornece uma avaliação mais precisa e confiável de caminhos de raciocínio do que PRMs existentes. Os autores enfatizam que essa abordagem permite que modelos menores e de código aberto superem modelos maiores e de código fechado em tarefas complexas de raciocínio multihop em KG, particularmente onde a segurança lógica e a adesão a restrições de domínio são essenciais. O trabalho une a busca heurística (A*) e sistemas modernos de aprendizado, oferecendo um framework principiado para guiar LLMs em ambientes de conhecimento estruturado.