💻 computer science

DeFacto: Counterfactual Thinking with Images for Enforcing Evidence-Grounded and Faithful Reasoning

El artículo presenta DeFacto, un marco de razonamiento contrafactual que aprovecha una pipeline guiada por lenguaje para generar un conjunto de datos especializado y emplea aprendizaje por refuerzo basado en GRPO con recompensas multifacéticas para mejorar significativamente tanto la precisión de las respuestas como la coherencia fundamentada en evidencia en los modelos de lenguaje multimodales.

Autores originales: Tianrun Xu, Haoda Jing, Ye Li, Yuquan Wei, Jun Feng, Guanyu Chen, Haichuan Gao, Tianren Zhang, Feng Chen

Publicado 2026-05-21

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Tianrun Xu, Haoda Jing, Ye Li, Yuquan Wei, Jun Feng, Guanyu Chen, Haichuan Gao, Tianren Zhang, Feng Chen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tomando un examen donde tienes que responder preguntas sobre una imagen. La mayoría de los programas informáticos inteligentes (llamados Modelos de Lenguaje Grandes Multimodales) son como estudiantes muy buenos adivinando basándose en lo que han leído en libros, pero a menudo ignoran la imagen real que tienen frente a ellos. Podrían darte la respuesta correcta, pero por las razones equivocadas, o podrían mirar la parte equivocada de la foto por completo.

El artículo presenta un nuevo método llamado DeFacto (abreviatura de "De Facto", que significa "en realidad") para solucionar esto. Piensa en DeFacto como un profesor estricto que obliga al estudiante a demostrar que realmente está mirando la imagen antes de poder escribir una respuesta.

Así es como funciona, desglosado con analogías simples:

1. El Problema: El "Experto Falso"

Los modelos de IA actuales a menudo sufren de tres hábitos específicos de "trampa":

La Adivinanza Ciega: Miran la parte equivocada de la imagen y dan la respuesta incorrecta.
La Adivinanza Afortunada: Miran la parte equivocada de la imagen pero de alguna manera adivinan la respuesta correcta (solo por suerte o memorizando texto).
El Error Honesto: Miran la parte correcta de la imagen pero aún así se equivocan en la respuesta porque no pueden conectar los puntos.

El artículo argumenta que ser "inteligente" no es suficiente; la IA debe ser fiable, lo que significa que su respuesta debe estar directamente vinculada a lo que realmente ve.

2. La Solución: El Juego de la "Pieza Faltante"

Para enseñar a la IA a dejar de hacer trampas, los investigadores crearon un juego de entrenamiento especial llamado Pensamiento Contrafactual. Imagina jugar al juego de "¿Dónde está Wally?" pero con un giro:

Ronda 1 (El Caso Positivo): Le muestras a la IA la imagen completa con las pistas visibles. Debe encontrar las pistas (como un sombrero rojo o un cartel específico) y responder la pregunta. Si lo hace bien, recibe una estrella de oro.
Ronda 2 (El Caso Contrafactual): Esta es la parte mágica. Los investigadores toman las exactas pistas que la IA necesita (como el sombrero rojo) y las cubren con una caja negra (enmascarándolas). Ahora, se le hace a la IA la misma pregunta.
- Si la IA intenta adivinar de todos modos, recibe una gran penalización.
- Si la IA dice: "No lo sé, la pista falta", recibe una estrella de oro.
- Por qué esto importa: Esto le enseña a la IA que si la evidencia no está allí, no debe fingir saber la respuesta. Aprende a admitir ignorancia en lugar de alucinar.
Ronda 3 (El Caso de Enmascaramiento Aleatorio): Los investigadores cubren partes de la imagen que no importan (como el cielo o un árbol en el fondo). La IA aún debe responder correctamente. Esto evita que la IA aprenda que las "cajas negras" siempre significan "no responder". Aprende a distinguir entre "evidencia faltante" y "fondo irrelevante".

3. El Proceso de Entrenamiento: La "Tarea Calificada"

Los investigadores no solo escribieron estas preguntas a mano (lo cual tomaría una eternidad). Construyeron una tubería automatizada que:

Lee la pregunta.
Encuentra automáticamente las partes importantes de la imagen (como "el texto en la camisa" o "las hojas en el árbol").
Crea miles de estas versiones de imágenes "cubiertas".

Crearon un conjunto de datos masivo llamado DeFacto-100K (100,000 ejemplos) para entrenar a la IA.

Luego, utilizaron un método de entrenamiento especial llamado GRPO (Optimización de Política Relativa por Grupos). Piensa en esto como un entrenador que observa a la IA jugar el juego 4 veces seguidas. Si la IA lo hace mejor en una ronda que el promedio de las otras tres, recibe una recompensa. Esto ayuda a la IA a aprender a ser consistente: Siempre busca la evidencia, y si no está, di "No lo sé".

4. Los Resultados: Un Estudiante Mejor

Cuando probaron esta nueva IA "DeFacto" contra otros modelos principales:

Respondió correctamente más preguntas.
Fue mucho más difícil engañarla. Cuando la evidencia estaba oculta, la IA DeFacto dijo correctamente "No lo sé" con mucha más frecuencia que otros modelos, que seguían adivinando.
Fue más honesta. Dejó de inventar razones para sus respuestas. Si señalaba una parte específica de la imagen para justificar su respuesta, esa parte realmente contenía la prueba.

Resumen

En resumen, DeFacto es un método de entrenamiento que enseña a los modelos de IA a ser detectives honestos. En lugar de simplemente adivinar la respuesta basándose en lo que creen que podría ser cierto, se les entrena para:

Encontrar la evidencia visual específica.
Si la evidencia falta, admitir que no lo saben.
Si la evidencia está allí, usarla para probar su respuesta.

El artículo afirma que esto hace que el razonamiento de la IA sea más confiable y basado en la realidad, evitando que invente historias que suenan bien pero no son verdaderas.

y` válidas).
3. Recompensa de Coherencia en la Selección de Regiones ( $R_{sel}$ ):
* Recompensa la superposición entre los cuadros delimitadores predichos y las regiones de evidencia de verdad fundamental ( $R^+$ ).
* Penaliza la superposición con regiones irrelevantes ( $R^-$ ).
* Proporciona una recompensa nula para la selección de regiones en casos contrafactuales (donde el modelo debe abstenerse).

3. Contribuciones Clave

Marco DeFacto: Un marco de razonamiento contrafactual que optimiza conjuntamente la corrección de la respuesta y la fidelidad a nivel de región mediante aprendizaje por refuerzo basado en GRPO.
Conjunto de Datos DeFacto-100K: Un conjunto de datos contrafactual a gran escala construido mediante una tubería automatizada y guiada por lenguaje que integra detección de vocabulario abierto y enmascaramiento de evidencia dirigida sin anotación manual.
Benchmarks DeFacto-1.5K: Un benchmark anotado por humanos diseñado para evaluar sistemáticamente la consistencia fundamentada en evidencia más allá de la simple precisión de la respuesta, utilizando métricas de estilo de detección (mAP, IoU) junto con la precisión.
Validación Empírica: Experimentos extensos que demuestran que DeFacto mejora tanto la precisión de la respuesta como la fidelidad de la fundamentación en diversos benchmarks en comparación con líneas base sólidas.

4. Resultados Experimentales

Los autores evaluaron DeFacto (construido sobre la base Qwen2.5-VL-7B) frente a líneas base de última generación que incluyen GRIT, DeepEyes, Visual-SR1 y ViCrop.

Benchmarks Generales de VQA: DeFacto logró el mejor rendimiento en 4 de los 6 benchmarks generales (VQAv2, OKVQA, GQA, VSR), mostrando mejoras significativas sobre Qwen2.5-VL base (por ejemplo, +5.1% en VQAv2, +10.7% en GQA).
Benchmarks Centrados en Documentos y Texto: El modelo mostró ganancias sustanciales en tareas de comprensión de documentos, mejorando DocVQA en +2.0%, ChartQA en +7.7% y DeepForm en +17.7%.
Evaluación de Fidelidad (DeFacto-1.5K):
- DeFacto obtuvo las puntuaciones totales más altas en métricas de estilo de detección (mAP: 35.5, AP50: 49.8, AP75: 35.0).
- Redujo significativamente la Corrección Espuria (5.6% frente a 11.6% para GRIT) y los errores de Mal Localización y Erróneos.
- Demostró una Robustez Contrafactual superior, logrando una precisión de abstención del 64.1% cuando la evidencia estaba enmascarada, en comparación con el 46.1% de GRIT.

5. Significado y Afirmaciones

El artículo afirma que DeFacto representa un cambio desde la optimización exclusiva de la precisión de la respuesta hacia la imposición de consistencia entre evidencia y respuesta. Al entrenar explícitamente a los modelos para que se abstengan cuando falta evidencia visual crítica, DeFacto mitiga la dependencia de priores lingüísticos y alucinaciones.

Los autores posicionan este trabajo como el primer marco de razonamiento visión-lenguaje explícitamente fundamentado en supervisión contrafactual para imponer un razonamiento fiel a la región. Reconocen limitaciones, señalando que la propuesta de regiones depende de detectores existentes (lo que puede introducir ruido) y que la evaluación actual se limita a imágenes estáticas, dejando el razonamiento temporal y de video como direcciones futuras. Sin embargo, afirman que sus hallazgos abren nuevas direcciones para integrar la supervisión contrafactual en sistemas de razonamiento multimodal.