💬 NLP

ProvenAI: Provenance-Native Traces of Evidence in Generated Answers

A ProvenAI introduz um framework inovador que aumenta a transparência na resposta a perguntas com recuperação aumentada ao decompô-la em três camadas independentemente mensuráveis — correção da resposta, fidelidade da citação e influência por documento — para revelar lacunas críticas entre as fontes citadas e a evidência que realmente impulsiona os outputs do modelo.

Autores originais: Mohammad Faizan, Dalal Alharthi

Publicado 2026-06-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Mohammad Faizan, Dalal Alharthi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você faz uma pergunta difícil a um bibliotecário muito inteligente e culto. Para fazer isso, o bibliotecário pega uma pilha de dez livros da estante, lê-os e escreve a resposta para você. Ao final da resposta, o bibliotecário escreve uma lista de "Referências", mas menciona apenas dois dos dez livros que realmente segurou.

ProvenAI é um novo sistema projetado para auditar exatamente o que aconteceu nesse cenário. Ele pergunta: O bibliotecário realmente usou esses dois livros para escrever a resposta? Ou os outros oito livros influenciaram secretamente a história sem serem mencionados?

Aqui está uma divisão simples de como o artigo funciona, usando analogias do cotidiano.

1. O Problema: A Ilusão da "Citação Falsa"

No mundo da IA, os sistemas cost uma vez mostrar uma lista de fontes (citações) para provar que não estão inventando coisas. Mas o artigo argumenta que uma lista de citações é como um recibo que não condiz com o carrinho de compras.

Só porque o bibliotecário diz que usou o Livro A e o Livro B, não significa que esses livros realmente moldaram a história.

A Realidade: O bibliotecário pode ter sido fortemente influenciado pelo Livro C, D e E (que ele não listou), enquanto o Livro A e B foram mal olhados.
A Lacuna: O artigo chama isso de "Lacuna de Citação-Influência" (Citation-Influence Gap). É a diferença entre o que a IA afirma ter usado (a citação) e o que a IA realmente utilizou para formar sua resposta (a influência).

2. A Solução: A Auditoria de Três Camadas do ProvenAI

Em vez de apenas verificar se a resposta está correta, o ProvenAI divide a transparência em três camadas distintas, como verificar um carro de três maneiras diferentes:

Camada 1: A Resposta está Correta? (O Destino)
- Analogia: O carro realmente chegou ao endereço correto?
- O que verifica: A resposta final coincide com a verdade conhecida?
Camada 2: A Citação é Honesta? (O Recibo)
- Analogia: O motorista realmente parou nos postos de gasolina que listou no recibo?
- O que verifica: Os livros que a IA listou realmente contêm os fatos que ela afirma?
Camada 3: O Que Realmente Moveu o Ponteiro? (O Motor)
- Analogia: Se desmontássemos o carro e removêssemos uma peça específica do motor, o carro ainda funcionaria?
- O que verifica: Esta é a parte mais única. O sistema pega a resposta da IA, remove um livro específico da pilha e pede à IA para escrever a resposta novamente. Se a resposta mudar, esse livro foi influente. Se a resposta permanecer a mesma, esse livro foi apenas "decoração".

3. O Experimento do "Truque de Mágica"

Os pesquisadores testaram isso em um conjunto de dados de quebra-cabeças famosos chamado HotpotQA, onde as perguntas exigem conectar pontos através de múltiplos documentos.

A Configuração: Eles rodaram a IA em 7.405 perguntas.
A Surpresa: A IA acertou a resposta certa cerca de 53% das vezes, mas citou as fontes corretas 71% das vezes. Isso significa que a IA era frequentemente boa em encontrar os livros certos, mas ruim em usá-los para escrever a frase final.
O Estudo de Caso da "Lacuna de Citação-Influência":
- Eles observaram uma pergunta específica sobre dois diretores de cinema.
- A IA citou dois livros perfeitamente. O "Recibo" estava 100% limpo.
- MAS, quando removeram um desses livros citados, a resposta não mudou.
- E, quando removeram outros sete livros que a IA nem sequer citou, a resposta mudou.
- Conclusão: A IA estava secretamente dependendo dos livros não citados para obter a resposta correta, enquanto os livros citados eram apenas "vitrine".

4. Por Que Isso Importa (Sem o Jargão)

O artigo argumenta que não podemos apenas olhar para uma pontuação (como "Acurácia") para confiar em uma IA. Precisamos ver o quadro completo:

Ela obteve a resposta correta?
Ela listou as fontes corretas?
Essas fontes realmente fizeram o trabalho pesado?

Se você verificar apenas o #1 e o #2, pode pensar que a IA é confiável. Mas se você verificar o #3, pode perceber que a IA está sendo influenciada por documentos "fantasmas" que nunca lhe contou.

5. A Limitação da "Caixa Preta"

O artigo admite uma pequena limitação: para medir a influência perfeitamente, você geralmente precisa ver o "processo de pensamento" interno da IA (probabilidades matemáticas). Como o sistema deles não conseguia ver dentro do cérebro da IA, eles usaram um contorno inteligente: eles apenas compararam as frases finais antes e depois de remover um livro.

Analogia: Em vez de ouvir a combustão interna do motor, eles apenas verificaram se o carro se movia de forma diferente quando uma peça era removida. Não é tão preciso quanto olhar sob o capô, mas é um palpite muito bom.

Resumo

ProvenAI é uma ferramenta que nos impede de sermos enganados por uma bela lista de citações. Ele prova que, na IA, o que é citado nem sempre é o que é usado. Ao testar o que acontece quando você remove uma fonte, ele revela os "fantasmas" ocultos na máquina que estão, de fato, conduzindo as respostas.

Resumo Técnico: ProvenAI

Definição do Problema
Sistemas de geração aumentada por recuperação (RAG) rotineiramente fornecem citações junto com respostas geradas para estabelecer fundamentação factual. No entanto, o artigo argumenta que a presença de uma citação não confirma que a fonte citada moldou significativamente o resultado. As métricas de avaliação atuais frequentemente colapsam a correção da resposta, a fidelidade da citação e a influência do recurso em pontuações únicas, obscurecendo informações diagnósticas críticas. Especificamente, um modelo pode citar fontes corretas enquanto é impulsionado por contexto recuperado não citado, ou pode gerar uma resposta correta citando fontes irrelevantes. Essa lacuna entre evidência "citada" e evidência "influente" é particularmente problemática em aplicações de segurança e forenses, onde a accountability exige um registro verificável do que realmente moldou uma conclusão.

Metodologia
O ProvenAI não é um novo modelo generativo, mas uma infraestrutura de medição projetada para decompor a transparência em tarefas de questionamento de múltiplas etapas (multi-hop QA) em três camadas independentemente mensuráveis. O sistema opera no benchmark de distratores HotpotQA utilizando um pipeline de sete estágios:

Normalização de Dados: Conversão dos registros do HotpotQA em artefatos locais estáveis (JSONL) e construção de um corpus de recuperação canônico de 509.300 passagens.
Recuperação e Geração: Uso de recuperação de passagens densas (FAISS com embeddings all-MiniLM-L6-v2) e um caminho de inferência local (Qwen2.5-3B-Instruct) para gerar respostas com consciência de citação com tags inline.
Auditoria de Citação: Avaliação se os títulos citados alinham-se com os fatos de suporte (gold supporting facts) usando similaridade de Jaccard.
Estimativa de Influência: Aplicação de uma estratégia de ablação "leave-one-resource-out" (deixar um recurso de fora). Para cada documento recuperado $r_i$ , o sistema regenera a resposta e o conjunto de citações sem $r_i$ para medir o deslocamento do output.
Atribuição de Veredito: Os documentos são classificados em quatro categorias baseadas em uma função mensurável $V$ $V$ que combina o status de citação e um proxy de influência $\phi(r_i)$ $ϕ (r_{i})$ :
- USED (USADO): Citado e influente.
- HALLUCINATED CITATION (CITAÇÃO ALUCINADA): Citado, mas não influente.
- UNCITED INFLUENTIAL (INFLUENTE NÃO CITADO): Não citado, mas influente.
- LOW INFLUENCE (BAIXA INFLUÊNCIA): Nem citado, nem influente.

Componentes Técnicos Principais

Fidelidade de Citação: Medida via similaridade de Jaccard de conjuntos de tokens entre os títulos citados e os títulos de suporte (gold), avaliada sob correspondência exata ( $\tau=1$ ) e semântica ( $\tau=0.34$ ).
Proxy de Influência: Como o backend de inferência local (MLX) não expõe as probabilidades por token necessárias para o cálculo direto de divergência KL, o sistema utiliza um proxy de superfície $\phi(r_i)$ . Este proxy agrega a distância de Jaccard entre as strings de resposta original e ablativa ( $\Delta a$ ) e os conjuntos de citação ( $\Delta c$ ), ponderados em 0.8/0.2 respectivamente.
Fundamentação Teórica: O artigo formaliza a relação entre este proxy de superfície e o alvo de divergência KL ao nível de token. A Proposição 1 estabelece que, sob decodificação quase determinística, uma mudança de resposta não nula ( $\Delta a > 0$ ) certifica um deslocamento de KL estritamente positivo, tornando o proxy um indicador sólido (embora unilateral) de deslocamento de distribuição.
Rastreabilidade: O sistema integra o Model Context Protocol (MCP) para registrar grafos de traço de acesso a recursos, vinculando artefatos de recuperação ao processo de geração.

Resultados
Avaliado em 7.405 exemplos de validação da divisão de distratores do HotpotQA, o ProvenAI produz as seguintes métricas agregadas:

Precisão da Resposta: 53,53%
Média de Fidelidade de Citação: 71,55%

A lacuna significativa de 18 pontos entre a fidelidade de citação e a precisão da resposta demonstra que os modelos frequentemente identificam e citam títulos de suporte corretos mesmo quando a string da resposta final está incorreta. Inversamente, o sistema identifica casos onde a resposta é correta, mas o conjunto de citações está degradado.

O artigo destaca um "gap de citação-influência" específico através de um estudo de caso (nacionalidade de Scott Derrickson / Ed Wood). Neste exemplo, o modelo alcançou uma auditoria de citação perfeita ( $F_\tau = 1.0$ ), mas a ablação revelou que um dos recursos citados tinha influência fraca, enquanto sete fontes não citadas demonstraram deslocar o output. Isso confirma que o conjunto de citações observável e o perfil de sensibilidade empírica podem divergir substancialmente.

Significância e Alegações
O artigo alega que a transparência significativa em QA fundamentado por recuperação requer links rastreáveis através de três camadas distintas: evidência recuperada, evidência citada e evidência comportamentalmente influente.

Decomposição da Transparência: A principal contribuição é a operacionalização da transparência em três camadas independentes, argumentando que colapsá-las descarta informações diagnósticas necessárias.
O Gap Citação-Influência: O trabalho caracteriza um modo de falha específico onde auditorias de citação limpas coexistem com perfis de influência complexos impulsionados por contexto não citado.
Raciocínio Nativo de Proveniência: O framework conecta a auditoria baseada em medição a arquiteturas de proveniência criptográfica. Argumenta-se que, para a descoberta científica autônoma, uma trilha de auditoria deve não apenas verificar que os documentos citados foram recuperados (integridade criptográfica), mas também verificar que o output foi de fato sensível a esses documentos (sensibilidade comportamental).
Limitações: Os autores observam modestamente que a estimativa de influência atual depende de um proxy de superfície devido à falta de logits por token no backend local, e a atribuição é atualmente limitada ao nível de título do documento, em vez de em nível de implicação (entailment) de sentença.

O ProvenAI estabelece que os mecanismos de citação atuais são proxies insuficientes para influência e fornece um pipeline reproduzível para medir a discrepância entre o que um modelo afirma usar e o que realmente impulsiona seu output.