Resumo Técnico: Contexto de Caminho Limitado em KGQA Baseado em LLM

Declaração do Problema

Em sistemas de Resposta a Perguntas em Grafos de Conhecimento (KGQA) baseados em Modelos de Linguagem (LLM), os sistemas tipicamente delegam a travessia do grafo a um controlador de modelo de linguagem (LLM). Em cada etapa da busca, o controlador solicita ao LLM que selecione a próxima relação a seguir. Um padrão de design prevalente envolve a serialização do caminho parcial completo (todo o histórico de entidades e relações percorridas até o momento) em cada prompt de roteamento.

Os autores argumentam que isso é uma suposição padrão não testada. Embora o controlador do grafo mantenha o caminho completo como um estado simbólico exato na memória, alimentar repetidamente esse texto no prompt do LLM serve a dois papéis confluentes:

1. Contexto de Controle: Contabilidade exata para o sistema (que o código já possui).
2. Contexto de Explicação: Texto opcional de desambiguação para o LLM.

Essa prática incorre em custos significativos: consome memória de cache KV, limita o agrupamento local (local batching), aumenta a latência e força o modelo a atender a informações históricas potencialmente desatualizadas ou irrelevantes que competem com os candidatos de relação atuais. A questão central é saber se o caminho simbólico completo é necessário para a decisão de roteamento local do LLM, ou se um sufixo limitado é suficiente.

Metodologia: Contexto de Caminho Limitado (BPC)

O artigo introduz o Contexto de Caminho Limitado (BPC), uma intervenção na interface de prompt que desacopla o estado simbólico do controlador do texto visível ao LLM durante a seleção de relações.

Mecanismo Central

• Estado Simbólico: O controlador retém o caminho completo $p_t = (e_0, r_1, e_1, \dots, r_t, e_t)$ na memória para extração de respostas e auditoria.
• Histórico Visível: O prompt exposto ao LLM para seleção de relações inclui a pergunta, a entidade atual, os candidatos de relação de saída e apenas os últimos $K$ saltos do caminho.
  • $K=0$: Nenhum salto anterior é mostrado.
  • $K=1$: Apenas o salto imediatamente anterior é mostrado.
  • $K=\text{completo}$: O caminho completo é serializado (a linha de base convencional).

Configuração Experimental

• Conjuntos de Dados: WebQSP e ComplexWebQuestions (CWQ), utilizando vizinhanças locais de grafo alinhadas ao RoG.
• Modelos: Qwen3.5-9B-AWQ e Qwen3.5-4B-AWQ, servidos localmente via vLLM.
• Controles: O estudo fixa vizinhanças de grafo, largura do feixe, profundidade de busca, limites de relação e temperatura de decodificação. A única variável é o comprimento do histórico de caminho visível ($K$).
• Métricas: F1 do conjunto de respostas, Hits@1, contagens de tokens de entrada e tempo de relógio (wall-clock time).

Resultados Principais

1. Desempenho vs. Histórico Completo

Contrariando a intuição de que mais contexto é melhor, histórias limitadas igualam ou superam o prompt de histórico completo:

• Qwen3.5-9B:
  • WebQSP: $K=1$ alcançou o maior F1 (0,487), superando o histórico completo (0,472). $K=0$ ficou quase empatado (0,485).
  • CWQ: $K=0$ alcançou o maior F1 (0,287), superando o histórico completo (0,274).
• Eficiência: Contextos limitados reduziram significativamente os tokens de entrada (até 12,1% de redução no CWQ) e, em alguns casos, reduziram o tempo de relógio.

2. Interação com o Tamanho do Modelo

O $K$ ótimo depende da capacidade do modelo:

• Escala 9B: Histórias limitadas ($K=0$ ou $K=1$) geralmente superaram o histórico completo.
• Escala 4B: O histórico completo performou melhor que $K=0$, sugerindo que modelos menores se beneficiam de algum contexto de caminho. No entanto, $K=1$ permaneceu a configuração mais forte em ambos os conjuntos de dados para o modelo 4B, superando tanto $K=0$ quanto o histórico completo.

3. Análise de Erros

• Estabilidade: 71–84% dos exemplos produziram pontuações F1 finais idênticas independentemente do comprimento do histórico, indicando que a maioria das decisões de roteamento é robusta à truncagem de contexto.
• Modos de Falha:
  • Histórico Completo Vence: Ocorreu frequentemente quando um salto anterior era necessário para desambiguar a entidade atual.
  • Limitado Vence: Ocorreu frequentemente quando o histórico completo introduzia nomes de entidades "desatualizados" ou rótulos de relação anteriores irrelevantes que distraíam o modelo.
• Controles Aleatórios: A seleção aleatória de relações pontuou significativamente mais baixo, confirmando que os ganhos são devidos à seleção de relações aprendida e à ancoragem no grafo, e não meramente à redução de ruído.

Contribuições Principais

1. Desacoplamento de Interface: Definiu o BPC como um método para separar o estado simbólico determinístico (memória do controlador) da comunicação visível ao modelo (texto do prompt).
2. Evidência Empírica: Demonstrou que a serialização de caminho completo não é uma suposição padrão uniformemente superior. No WebQSP e CWQ, histórias limitadas ($K=0$ ou $K=1$) alcançaram pontuações F1 mais altas com menos tokens.
3. Nuance de Tamanho do Modelo: Identificou que, embora modelos menores (4B) se beneficiem de algum contexto, um único salto visível ($K=1$) é uma configuração consistentemente competitiva em diferentes escalas de modelo.
4. Controles Diagnósticos: Validou que os resultados não são artefatos de acesso ao grafo ou acaso aleatório, mas derivam da interação específica entre o comprimento do caminho e a atenção do LLM.

Significado e Alegações

O artigo afirma que o comprimento da serialização do caminho deve ser tratado como uma variável de interface ajustável em vez de uma suposição padrão fixa em controladores de grafo baseados em LLM.

• Design de Sistema: O BPC permite que designers de sistema reduzam a carga de tokens de entrada e a latência sem sacrificar (e frequentemente melhorando) a precisão.
• Insight Teórico: Os resultados sugerem que, para decisões de roteamento local, a combinação "pergunta + entidade atual + candidatos de relação" codifica sinais locais fortes. Saltos mais antigos podem ser úteis para desambiguação, mas frequentemente atuam como distrações ao introduzir formas de superfície irrelevantes.
• Auditabilidade: Ao manter o caminho completo na memória simbólica, o BPC mantém a capacidade de auditar evidências e extrair respostas de caminhos completos, mesmo que os prompts de roteamento sejam truncados.

Os autores concluem que, embora o histórico completo não seja a configuração de maior F1 em suas execuções, o limite específico ($K=1$) oferece um padrão robusto e eficiente que equilibra a desambiguação local com a economia de prompt.