💻 computer science

DeFacto: Counterfactual Thinking with Images for Enforcing Evidence-Grounded and Faithful Reasoning

O artigo apresenta o DeFacto, um framework de raciocínio contrafactual que aproveita um pipeline guiado por linguagem para gerar um conjunto de dados especializado e emprega aprendizado por reforço baseado em GRPO com recompensas multifacetadas para melhorar significativamente tanto a precisão das respostas quanto a consistência fundamentada em evidências em modelos de linguagem multimodais.

Autores originais: Tianrun Xu, Haoda Jing, Ye Li, Yuquan Wei, Jun Feng, Guanyu Chen, Haichuan Gao, Tianren Zhang, Feng Chen

Publicado 2026-05-21

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Tianrun Xu, Haoda Jing, Ye Li, Yuquan Wei, Jun Feng, Guanyu Chen, Haichuan Gao, Tianren Zhang, Feng Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está fazendo uma prova onde precisa responder perguntas sobre uma imagem. A maioria dos programas de computador inteligentes (chamados Modelos de Linguagem Multimodal de Grande Escala) é como alunos que são muito bons em adivinhar com base no que leram em livros, mas frequentemente ignoram a imagem real diante deles. Eles podem fornecer a resposta correta, mas por motivos errados, ou podem olhar para a parte completamente errada da foto.

O artigo apresenta um novo método chamado DeFacto (abreviação de "De Facto", significando "na realidade") para corrigir isso. Pense no DeFacto como um professor rigoroso que força o aluno a provar que está realmente olhando para a imagem antes de poder escrever uma resposta.

Veja como funciona, detalhado com analogias simples:

1. O Problema: O "Especialista Falso"

Os modelos de IA atuais frequentemente sofrem de três hábitos específicos de "trapaça":

A Adivinhação Cega: Eles olham para a parte errada da imagem e dão a resposta errada.
A Adivinhação Sortuda: Eles olham para a parte errada da imagem, mas de alguma forma adivinham a resposta correta (apenas por sorte ou memorizando texto).
O Erro Honesto: Eles olham para a parte certa da imagem, mas ainda assim dão a resposta errada porque não conseguem conectar os pontos.

O artigo argumenta que ser "inteligente" não é suficiente; a IA deve ser fiel, o que significa que sua resposta deve estar diretamente ligada ao que ela realmente vê.

2. A Solução: O Jogo da "Peça Faltante"

Para ensinar a IA a parar de trapacear, os pesquisadores criaram um jogo especial de treinamento chamado Pensamento Contrafactual. Imagine jogar "Onde Está o Wally?", mas com uma reviravolta:

Rodada 1 (O Caso Positivo): Você mostra a IA a imagem completa com as pistas visíveis. Ela deve encontrar as pistas (como um chapéu vermelho ou um sinal específico) e responder à pergunta. Se acertar, ganha uma estrela dourada.
Rodada 2 (O Caso Contrafactual): Esta é a parte mágica. Os pesquisadores pegam as exatas pistas de que a IA precisa (como o chapéu vermelho) e as cobrem com uma caixa preta (mascarando-as). Agora, a IA é feita a mesma pergunta.
- Se a IA tentar adivinhar de qualquer maneira, recebe uma grande penalidade.
- Se a IA disser: "Não sei, a pista está faltando", ela ganha uma estrela dourada.
- Por que isso importa: Isso ensina à IA que, se a evidência não estiver lá, ela não deve fingir saber a resposta. Ela aprende a admitir a ignorância em vez de alucinar.
Rodada 3 (O Caso de Mascaramento Aleatório): Os pesquisadores cobrem partes da imagem que não importam (como o céu ou uma árvore ao fundo). A IA ainda deve responder corretamente. Isso impede que a IA aprenda que "caixas pretas" significam sempre "não responda". Ela aprende a distinguir entre "evidência faltante" e "fundo irrelevante".

3. O Processo de Treinamento: A "Tarefa de Casa Avaliada"

Os pesquisadores não escreveram essas perguntas à mão (o que levaria uma eternidade). Eles construíram um pipeline robótico que:

Lê a pergunta.
Encontra automaticamente as partes importantes da imagem (como "o texto na camisa" ou "as folhas na árvore").
Cria milhares dessas versões de imagens "cobertas".

Eles criaram um conjunto de dados massivo chamado DeFacto-100K (100.000 exemplos) para treinar a IA.

Em seguida, usaram um método especial de treinamento chamado GRPO (Otimização de Política Relativa em Grupo). Pense nisso como um treinador que observa a IA jogar o jogo 4 vezes seguidas. Se a IA se sair melhor em uma rodada do que a média das outras três, ela recebe uma recompensa. Isso ajuda a IA a aprender a ser consistente: Sempre procure a evidência e, se ela sumir, diga "Não sei".

4. Os Resultados: Um Aluno Melhor

Quando testaram essa nova IA "DeFacto" contra outros modelos de ponta:

Ela acertou mais perguntas.
Foi muito mais difícil de enganar. Quando a evidência estava oculta, a IA DeFacto disse corretamente "Não sei" muito mais frequentemente do que outros modelos, que continuavam adivinhando.
Foi mais honesta. Parou de inventar razões para suas respostas. Se ela apontava para uma parte específica da imagem para justificar sua resposta, essa parte realmente continha a prova.

Resumo

Em resumo, DeFacto é um método de treinamento que ensina modelos de IA a serem detetives honestos. Em vez de apenas adivinhar a resposta com base no que acham que pode ser verdade, eles são treinados para:

Encontrar a evidência visual específica.
Se a evidência estiver faltando, admitir que não sabem.
Se a evidência estiver lá, usá-la para provar sua resposta.

O artigo afirma que isso torna o raciocínio da IA mais confiável e fundamentado na realidade, impedindo-a de inventar histórias que soam bem, mas não são verdadeiras.

e`).
3. Recompensa de Coerência de Seleção de Região ( $R_{sel}$ ):
* Recompensa a sobreposição entre as caixas delimitadoras previstas e as regiões de evidência verdadeiras ( $R^+$ ).
* Penaliza a sobreposição com regiões irrelevantes ( $R^-$ ).
* Oferece recompensa zero para seleção de região em casos contrafactuais (onde o modelo deve se abster).

3. Contribuições Principais

Framework DeFacto: Um framework de raciocínio contrafactual que otimiza conjuntamente a corretude da resposta e a fidelidade ao nível de região via aprendizado por reforço baseado em GRPO.
Dataset DeFacto-100K: Um dataset contrafactual em grande escala construído por meio de um pipeline automatizado e guiado por linguagem que integra detecção de vocabulário aberto e mascaramento de evidência direcionado, sem anotação manual.
Benchmark DeFacto-1.5K: Um benchmark anotado por humanos projetado para avaliar sistematicamente a consistência fundamentada em evidências além da simples acurácia da resposta, utilizando métricas estilo detecção (mAP, IoU) juntamente com a acurácia.
Validação Empírica: Experimentos extensivos demonstrando que o DeFacto melhora tanto a acurácia da resposta quanto a fidelidade de fundamentação em diversos benchmarks, comparado a bases fortes.

4. Resultados Experimentais

Os autores avaliaram o DeFacto (construído sobre o backbone Qwen2.5-VL-7B) contra bases de última geração, incluindo GRIT, DeepEyes, Visual-SR1 e ViCrop.

Benchmarks Gerais de VQA: O DeFacto alcançou o melhor desempenho em 4 dos 6 benchmarks gerais (VQAv2, OKVQA, GQA, VSR), mostrando melhorias significativas sobre o Qwen2.5-VL base (por exemplo, +5,1% no VQAv2, +10,7% no GQA).
Benchmarks Centrais em Documentos e Texto: O modelo mostrou ganhos substanciais em tarefas de compreensão de documentos, melhorando o DocVQA em +2,0%, o ChartQA em +7,7% e o DeepForm em +17,7%.
Avaliação de Fidelidade (DeFacto-1.5K):
- O DeFacto alcançou as pontuações totais mais altas em métricas estilo detecção (mAP: 35,5, AP50: 49,8, AP75: 35,0).
- Reduziu significativamente a Corretude Espúria (5,6% vs. 11,6% para o GRIT) e erros de Localização Incorreta e Errada.
- Demonstrou Robustez Contrafactual superior, alcançando 64,1% de acurácia de abstenção quando a evidência foi mascarada, comparado a 46,1% para o GRIT.

5. Significado e Alegações

O artigo alega que o DeFacto representa uma mudança da otimização apenas para a acurácia da resposta para a imposição de consistência evidência-resposta. Ao treinar explicitamente os modelos para se abster quando evidência visual crítica está ausente, o DeFacto mitiga a dependência de priores linguísticos e alucinações.

Os autores posicionam este trabalho como o primeiro framework de raciocínio visão-linguagem explicitamente fundamentado em supervisão contrafactual para impor raciocínio fiel às regiões. Eles reconhecem limitações, observando que a proposta de região depende de detectores existentes (o que pode introduzir ruído) e que a avaliação atual é limitada a imagens estáticas, deixando vídeo e raciocínio temporal como direções futuras. No entanto, eles afirmam que suas descobertas abrem novas direções para integrar supervisão contrafactual em sistemas de raciocínio multimodal.