Resumo Técnico: NeSy-RAG para Resposta a Perguntas Explicável

1. Definição do Problema

Sistemas de Geração Aumentada por Recuperação (RAG) aprimoram Modelos de Linguagem de Grande Escala (LLMs) ao fundamentá-los em corpora de texto externos, mas sofrem de três limitações críticas em domínios de alto risco:

1. Raciocínio Opaco: Os passos intermediários de raciocínio são difíceis de verificar, e as respostas geradas não podem ser atribuídas de forma confiável a evidências específicas da fonte. As explicações padrão de Cadeia de Pensamento (CoT) são frequentemente pouco confiáveis.
2. Escalabilidade e Construção de Consultas: Construir consultas simbólicas sobre bases de conhecimento monolíticas e extensas é frágil. As abordagens neuro-simbólicas existentes geralmente dependem de regras curadas manualmente ou exigem que o modelo inspecione bases de conhecimento inteiras, levando a problemas de escalabilidade.
3. Contexto do Usuário Ausente: Os pipelines de RAG atuais raramente detectam sistematicamente a falta de informações específicas do usuário. Isso frequentemente leva a saídas incompletas ou incorretas, pois os LLMs têm dificuldade em buscar proativamente informações esclarecedoras quando o contexto do usuário está incompleto.

2. Metodologia: O Framework NeSy-RAG

O NeSy-RAG é um framework neuro-simbólico modular projetado como uma extensão plug-in para sistemas RAG existentes. Ele sintetiza e executa módulos Prolog atribuíveis a partir de fragmentos de texto recuperados para realizar a resposta a perguntas explicável. O pipeline opera da seguinte forma:

2.1. Síntese de Prolog Atribuível

Para cada fragmento de texto recuperado, o sistema sintetiza um módulo Prolog dedicado contendo regras e fatos derivados exclusivamente daquele fragmento.

• Modularidade: Ao processar fragmentos isoladamente, o sistema garante que cada fato e regra possa ser mapeado de forma única ao seu texto de origem, permitindo explicabilidade e verificabilidade granulares.
• Fatos Dinâmicos vs. Universais: O sistema distingue entre fatos universais (totalmente especificados pelo conhecimento do domínio) e fatos dinâmicos (que contêm argumentos cujos valores são desconhecidos no momento da síntese, por exemplo, atributos do usuário). Fatos dinâmicos são sinalizados para instanciação em tempo de execução.

2.2. Abstração de Predicados de Aridade 0 e Recuperação Hierárquica

Para enfrentar o gargalo de escalabilidade da geração de consultas, o NeSy-RAG introduz uma estratégia de recuperação em dois estágios:

1. Síntese de Módulo: Durante a síntese de um módulo Prolog, o LLM gera regras de aridade 0 (alegações booleanas) que encapsulam a funcionalidade do módulo sem exigir vínculos de variáveis (ex: can_not_get_winter_fuel_payment :- lives_in_cyprus(true)...).
2. Recuperação de Predicados: Em vez de carregar toda a base de conhecimento, o sistema utiliza um modelo de embedding conjunto de Linguagem Natural–Prolog (NL-PL) para recuperar os top-$k$ mais relevantes de regras de aridade 0 com base na pergunta do usuário.
3. Composição de Consulta: Um LLM compõe a consulta Prolog final usando apenas este subconjunto pequeno e relevante de regras. Isso restringe o espaço de geração, reduz alucinações e mantém as janelas de contexto pequenas.

2.3. Detecção Simbólica de Lacunas de Conhecimento

O framework aborda o contexto incompleto do usuário através de um mecanismo simbólico:

• Interação em Tempo de Execução: Durante a execução do Prolog, se o sistema encontrar um fato dinâmico com um valor indefinido, ele aciona um método de interação específico.
• Geração de Seguimento: O sistema gera automaticamente perguntas de acompanhamento direcionadas ao usuário para resolver o valor de verdade ausente.
• Tratamento de Resultados: Se o usuário não puder fornecer a informação necessária, o sistema avalia a consulta sob ambas as atribuições booleanas. Se o resultado variar, o sistema retorna "mais" (indicando que a resposta é indeterminada) em vez de adivinhar.

2.4. Geração de Resposta

O sistema executa a consulta Prolog composta contra os módulos recuperados. A saída inclui:

• Uma resposta determinística (Sim/Não/Mais/Irrelevante).
• Um traço de execução que vincula cada passo do raciocínio de volta ao seu fragmento de texto e documento de origem, fornecendo justificativa transparente.

3. Principais Contribuições

O artigo propõe quatro contribções principais:

1. Framework Neuro-Simbólico Modular: Um sistema que sintetiza e executa módulos Prolog atribuíveis a partir de fragmentos de texto recuperados, garantindo que cada passo de raciocínio seja rastreável à sua fonte.
2. Abstração de Predicado de Aridade 0: Um método inovador para apresentar módulos Prolog como alegações booleanas, permitindo a construção de consultas restrita e escalável via recuperação de linguagem natural para código (NL2C).
3. Detecção Simbólica de Lacunas de Conhecimento: Um mecanismo que identifica fatos ausentes do usuário durante a inferência simbólica e aciona proativamente interações de acompanhamento, evitando conclusões prematuras ou incorretas.
4. Validação Empírica: Demonstração de que o NeSy-RAG supera as linhas de base de LLM agnósticas ao domínio no benchmark ShARC sem exigir treinamento específico do domínio.

4. Resultados Experimentais

O framework foi avaliado no benchmark ShARC, um conjunto de dados de resposta a perguntas conversacionais baseado em textos legais do governo do Reino Unido. A avaliação simulou um cenário onde o contexto do usuário é retido inicialmente, exigindo que o sistema recupere informações ausentes via perguntas de acompanhamento.

• Acurácia: O NeSy-RAG alcançou 61,1% de acurácia (com $k=10$ predicados de aridade 0 recuperados), superando significativamente a linha de base RAG de LLM (42,8%) e a linha de base RAG de LLM com um modelo maior (53,7%).
• Eficiência: O NeSy-RAG apresentou um tempo médio de execução menor (7,4s) em comparação com a linha de base RAG (11,4s). Esta eficiência é atribuída à reutilização de módulos, janelas de contexto menores durante a geração de consultas e ao gatilho algorítmico de acompanhamento em vez da geração baseada em LLM.
• Tratamento de Lacunas de Conhecimento: O NeSy-RAG classificou corretamente 61% das instâncias que exigiam mais informações (rotuladas como "mais"), comparado a apenas 19% para a linha de base RAG de LLM. Isso destaca a eficácia do mecanismo de detecção de lacunas simbólicas.
• Análise de Erros: O principal modo de erro para o NeSy-RAG foi a sobregeração de predicados dinâmicos, levando a classificações conservadoras de "mais" para questões respondíveis (31% das instâncias de "Sim" foram classificadas incorretamente como "mais"). No entanto, esse viés conservador é observado como preferível à falsa certeza em domínios de alto risco.

5. Significância e Alegações

O artigo postula que o NeSy-RAG oferece um caminho viável para uma IA confiável e explicável em domínios de alto risco, como direito e saúde. Ao combinar recuperação densa com raciocínio simbólico, ele aborda diretamente a opacidade e a falta de responsabilidade nos pipelines RAG padrão.

Os autores afirmam que a significância do framework reside em sua capacidade de:

• Fornecer traços de execução transparentes que vinculam os passos de raciocínio ao texto de origem, uma capacidade que pipelines de LLM puro carecem.
• Permitir o raciocínio escalável sobre grandes corpora de domínio sem exigir bases de conhecimento monolíticas ou curadoria manual de regras.
• Detectar e resolver sistematicamente o contexto ausente do usuário, evitando que o sistema alucine respostas quando a informação é insuficiente.

Embora a abordagem atualmente dependa de um único fragmento relevante (recuperação de salto único/single-hop) e foque em fatos dinâmicos booleanos, os autores veem a integração bem-sucedida da síntese modular de Prolog com RAG como um passo fundamental em direção a sistemas de resposta a perguntas mais robustos, verificáveis e interativos.