Resumo Técnico: TCAR-Gen

Declaração do Problema

Os sistemas de Geração Aumentada por Recuperação (RAG) enfrentam atualmente desafios significativos ao abordar questões complexas sobre narrativas históricas, particularmente aquelas que exigem raciocínio temporal e a fusão de múltiplas fontes de evidência. As abordagens RAG padrão baseiam-se tipicamente na correspondência de similaridade semântica entre consultas e fragmentos de texto isolados. Este design prioriza a sobreposição semântica local em detrimento de relações estruturais mais amplas, resultando frequentemente em evidências que são fragmentadas, incompletas ou mal organizadas para o raciocínio subsequente. Consequentemente, os Grandes Modelos de Linguagem (LLMs) frequentemente geram saídas que são linguisticamente fluentes, mas factualmente não sustentadas ou logicamente inconsistentes, um fenômeno conhecido como alucinação. Isso é especialmente crítico em tarefas de domínio específico, como a análise de narrativas de casos criminais, onde as respostas corretas dependem da ligação de múltiplos fragmentos de evidência, resolução de dependências de entidades e raciocínio sobre informações distribuídas temporalmente. Métodos baseados em grafos ou temporais existentes operam frequentemente de forma isolada, falhando em integrar o enriquecimento contextual ao nível do documento, a construção de grafos condicionada à consulta e o raciocínio de múltiplos ramos em um pipeline unificado.

Metodologia: Estrutura TCAR-Gen

Os autores propõem o Temporal Context Augmented Retrieval Generation (TCAR-Gen), uma estrutura unificada projetada para fundamentar a geração de respostas através de evidências recuperadas por meio de um pipeline coordenado de recuperação, raciocínio e verificação. O sistema opera em um grafo de conhecimento heterogêneo (especificamente testado no corpus Victorian Crime Diaries) e processa uma consulta de linguagem natural $q$ através de seis estágios distintos:

1. Construção de Grafo de Contexto Específico da Consulta:

   • Extração de Sementes: Um parser extrai menções semente (ex: títulos de casos, suspeitos, locais, expressões temporais) da consulta e as alinha a entidades do grafo.
   • Expansão Multi-hop: Partindo destas sementes, a estrutura realiza uma expansão multi-hop limitada sobre o grafo global para coletar entidades vizinhas, eventos e fragmentos narrativos, formando um subgrafo compacto específico da consulta $G_{ctx}(q)$.

2. Codificação de Grafo Temporal com Atenção Condicionada à Consulta:

   • Uma Rede Neural de Grafo (GNN) com passagem de mensagem temporal agrega informações do vizinhança temporal dos nós.
   • Query-Conditioned Attention Pooling (QCAP): O modelo computa uma pontuação de relevância da consulta ($\beta_v$) para cada nó no subgrafo. Isso permite que o sistema estime a relevância dos componentes do grafo dinamicamente com base na consulta específica, produzindo um vetor de resumo do grafo.

3. Recuperação Híbrida Semântica–Grafo–Temporal:

   • Em vez de depender apenas de similaridade semântica, o TCAR-Gen atribui uma pontuação composta aos fragmentos de evidência candidatos.
   • A pontuação combina três termos: Relevância Semântica (similaridade de cosseno), Relevância de Grafo (baseada nos pesos de atenção QCAP de nós vinculados) e Alinhamento Temporal (medindo a sobreposição entre a janela de tempo da consulta e o intervalo temporal do fragmento).

4. Construção de Prompt Fundamentado em Evidências:

   • Os fragmentos de evidência recuperados são combinados com uma renderização linear compacta das relações de grafo salientes e dos principais nós/arestas para construir um prompt estruturado. Isso condiciona o LLM tanto à evidência textual quanto ao contexto estrutural.

5. Raciocínio de Cadeia de Árvores (Chain-of-Trees - CoT):

   • Para lidar com consultas que possuem múltiplas interpretações plausíveis, o sistema emprega uma estratégia de Cadeia de Árvores. Ele explora múltiplos ramos de raciocínio (ex: ligações de testemunhas, sobreposição temporal, evidência compartilhada) simultaneamente.
   • Cada ramo representa um caminho de raciocínio refinado condicionado à evidência selecionada, permitindo que o modelo compare hipóteses concorrentes antes da síntese.

6. Pontuação de Caminho Explícita e Fusão de Decisão:

   • Caminhos de raciocínio candidatos são pontuados com base em quatro critérios: suporte de evidência, coerência de grafo, consistência temporal (penalizando violações cronológicas) e confiança do modelo.
   • O sistema funde os caminhos de maior pontuação para sintetizar a resposta final, garantindo que a saída seja fundamentada na evidência recuperada e adira às restrições temporais.

Principais Contribuições

O artigo delineia três contribuições primárias:

1. Estrutura de Recuperação Consciente de Contexto: Uma arquitetura inovadora que integra enriquecimento ao nível do documento com construção de grafo condicionada à consulta e modelagem temporal explícita, indo além de pipelines de recuperação estáticos.
2. Pipeline de Raciocínio Estruturado: Um método que combina recuperação de evidência estruturada com inferência de múltiplos ramos fundamentada em restrições relacionais e temporais, utilizando uma abordagem de Cadeia de Árvores para gerenciar o raciocínio complexo.
3. Avaliação Empírica Abrangente: Uma avaliação rigorosa através de múltiplas escalas de modelos (de 1.1B a 20B parâmetros) e tipos de consulta, analisando a eficácia da recuperação, a fidelidade da geração e as contribuições específicas de componentes individuais via estudos de ablação.

Resultados Experimentais

A estrutura foi avaliada no benchmark Victorian Crime Diaries (VCD), consistindo em 160 consultas em sete tipos (incluindo Multi-Hop, Contrafactual e consultas Temporais).

• Desempenho de Recuperação: O TCAR-Gen superou significativamente os baselines (Vanilla RAG, Temporal RAG, GraphRAG-C, GraphRAG-T). Alcançou um Recall@5 de 0.3738, comparado a 0.0738 para o baseline mais forte (GraphRAG-C). A melhoria foi mais pronunciada em consultas Multi-Hop, onde os baselines pontuaram 0.000, demonstrando a necessidade da expansão de contexto multi-hop limitada.
• Qualidade de Geração: O TCAR-Gen alcançou a maior Pontuação de Fidelidade (0.7872) e Consistência Temporal perfeita (1.0000). A estratégia de raciocínio de Cadeia de Árvores e os mecanismos de penalidade temporal foram identificados como críticos para prevenir contradições cronológicas.
• Estudos de Ablação: Remover o grafo de contexto (A2) fez com que a recuperação colapsasse para 0.000. Remover a GNN ou a atenção condicionada à consulta (A3–A5) reduziu drasticamente a fidelidade (caindo para ~0.04–0.05), indicando que representações estruturadas são essenciais para uma geração fiel. Remover a penalidade temporal (A11) resultou na maior queda de fidelidade (0.0374), destacando a necessidade de restrições temporais no raciocínio.
• Escalabilidade entre Modelos: O TCAR-Gen manteve uma cobertura de recuperação robusta mesmo com modelos menores (ex: TinyLlama 1.1B alcançou Recall@5 de 0.1711), embora a qualidade da geração (Fidelidade) tenha degradado substancialmente com a redução da capacidade do modelo. Isso sugere que o mecanismo de recuperação é estruturalmente robusto, enquanto a síntese depende fortemente da escala do modelo.

Significância e Alegações

O artigo alega que a modelagem temporal explícita e a fusão de evidências de múltiplos ramos são essenciais para uma resposta de alta intensidade de raciocínio e fiel sobre corpora fundamentados em conhecimento. Os autores argumentam que o questionamento eficaz em cenários complexos requer a preservação da organização estrutural e temporal das evidências, em vez de depender apenas da recuperação baseada em texto.

O trabalho demonstra que a integração da recuperação e geração em um único pipeline consciente de contexto permite um melhor tratamento de raciocínio multi-hop e perguntas contrafactuais. Os autores observam que, embora sua abordagem mostre ganhos significativos, ela é atualmente limitada a um único corpus (VCD). Eles identificam a generalização mais ampla em benchmarks de domínio aberto e a construção de grafos adaptativa como as principais direções para pesquisas futuras. O estudo conclui que a estrutura proposta oferece um caminho viável para reduzir alucinações em tarefas de domínio específico ao fundamentar estritamente a geração em evidências estruturadas e temporalmente validadas.