ORIC: Benchmarking Object Recognition under Contextual Incongruity in Large Vision-Language Models

Este trabajo introduce el marco ORIC y el conjunto de datos ORIC-Bench para evaluar y mejorar la capacidad de los Modelos de Lenguaje y Visión Grandes (LVLM) para reconocer objetos en contextos incongruos, demostrando que la incongruencia contextual es una fuente clave de incertidumbre y proponiendo técnicas de ajuste fino para mitigar estos errores.

Lo esencial

Imagina que tienes un amigo muy inteligente, pero un poco ingenuo, llamado LVLM (un Modelo de Lenguaje y Visión Grande). Este amigo es increíble describiendo fotos y respondiendo preguntas sobre lo que ve. Si le muestras una foto de una cocina, te dirá: "¡Veo una nevera, un horno y un gato!". Es muy bueno cuando las cosas están en su lugar habitual.

Pero, ¿qué pasa si le muestras una foto de una cocina donde, por alguna razón extraña, hay un tren en medio de la encimera?

Aquí es donde entra el problema que estudia este paper, llamado ORIC.

El Problema: El "Efecto de la Expectativa"

El paper descubre que estos modelos de IA tienen un defecto curioso: confían demasiado en lo que "debería" estar ahí, en lugar de mirar realmente lo que está ahí.

• El escenario normal: Si ves un campo de béisbol, tu cerebro (y la IA) espera ver una pelota. Si no hay pelota, la IA podría alucinar y decir: "¡Sí, hay una pelota!" aunque no la vea, porque cree que debería haber una.
• El escenario extraño: Si ves una oficina y hay un tren pequeño en el escritorio, la IA podría ignorarlo por completo y decir: "No hay nada raro aquí", porque un tren no debería estar en una oficina.

Es como si el modelo tuviera un "gafas de realidad" que le dicen: "Solo ve lo que es lógico". Cuando la realidad es ilógica (incongruente), el modelo se confunde, ignora objetos reales o inventa cosas que no existen.

La Solución: El "Entrenamiento de Choque" (ORIC)

Los autores crearon un nuevo sistema de prueba llamado ORIC (Reconocimiento de Objetos en Contextos Incongruentes). Imagina que ORIC es un entrenador de boxeo que quiere preparar a la IA para pelear en situaciones extrañas.

En lugar de mostrarle fotos normales, el entrenador hace dos cosas:

1. El "Detective Lógico" (Muestreo guiado por LLM): Le pide a una IA muy avanzada que busque objetos que sí están en la foto, pero que son tan extraños para ese lugar que la IA principal probablemente los ignorará.
   • Ejemplo: "Mira esta foto de una playa. ¿Ves un microondas enterrado en la arena? ¡Sí, está ahí! Pero es tan raro que la IA principal lo ignorará."
2. El "Ilusionista" (Muestreo guiado por CLIP): Busca objetos que no están en la foto, pero que son tan plausibles para ese lugar que la IA principal probablemente los inventará.
   • Ejemplo: "Mira esta foto de una cancha de béisbol vacía. La IA probablemente dirá: '¡Hay una pelota!'. Pero no, no hay ninguna. ¡Es una trampa!"

Los Resultados: ¡La IA se cae de la silla!

Cuando probaron a 18 de las IAs más famosas del mundo (incluyendo a GPT-5 y otras potentes) con este nuevo entrenamiento:

• En fotos normales: Eran geniales (95-100% de acierto).
• En fotos "incongruentes" (ORIC): ¡Su rendimiento se desplomó! Muchas fallaron estrepitosamente, ignorando objetos reales o inventando fantasmas.

Esto demuestra que, aunque son muy inteligentes, no son realmente "conscientes" de lo que ven; solo están adivinando basándose en lo que es "normal".

El Remedio: Entrenamiento con Refuerzo Visual

La parte más emocionante es cómo arreglaron el problema. No les dieron más fotos normales. En su lugar, usaron una técnica llamada Visual-RFT (Ajuste Fino con Refuerzo Visual).

Imagina que le dices a la IA:

"Oye, cuando veas un tren en una oficina, no asumas que no está. Mira de verdad. Si hay un tren, di 'Sí'. Si no hay pelota en el béisbol, di 'No'. Si te equivocas, te castigo; si miras de verdad, te premio."

Después de entrenar a una de estas IAs (Qwen3-VL) con solo 600 ejemplos de estas situaciones extrañas:

1. Mejoró mucho en las pruebas de situaciones raras.
2. Mejoró también en pruebas normales y en otras tareas de razonamiento.
3. Empezó a pensar más como un humano: "Espera, esto es raro, déjame mirar con más atención" en lugar de "Esto es una oficina, así que no hay trenes".

En Resumen

El paper nos dice que las IAs visuales actuales son como estudiantes que memorizan el libro de texto pero no saben aplicar la lógica en la vida real. Si les preguntas algo obvio, responden perfecto. Pero si les presentas una situación extraña (un tren en una cocina), se confunden.

Los autores crearon un "examen de trampa" (ORIC) para encontrar estos fallos y luego enseñaron a la IA a dudar de sus propias expectativas y a mirar de verdad. Esto es un gran paso para hacer que los robots y asistentes de IA sean más seguros y confiables en el mundo real, donde las cosas a veces ocurren fuera de lo común.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "ORIC: Benchmarking Object Recognition under Contextual Incongruity in Large Vision-Language Models" (ORIC: Evaluación del Reconocimiento de Objetos bajo Incongruencia Contextual en Modelos Grandes de Visión y Lenguaje), presentado en español.

---

1. Problema Identificado

Los Modelos Grandes de Visión y Lenguaje (LVLMs) han avanzado significativamente en tareas como la descripción de imágenes y la respuesta a preguntas visuales (VQA). Sin embargo, el artículo identifica una vulnerabilidad crítica: la incongruencia contextual.

• Definición: Ocurre cuando un objeto aparece en un entorno inesperado (ej. un tren en una oficina) o cuando falta un objeto que el contexto sugiere fuertemente (ej. no haber una pelota en una cancha de béisbol).
• El Desafío: En estos escenarios, los LVLMs tienden a fallar de dos maneras principales:
  1. Mala identificación: Ignoran objetos presentes porque su presencia contradice las "pistas" del contexto (priorización de priores contextuales sobre la evidencia visual local).
  2. Alucinación: "Ven" objetos que no existen porque el contexto los hace plausibles (ej. alucinar una pelota en un campo de béisbol).
• Causa Subyacente: Los modelos actuales aprenden bajo incertidumbre con puntuación binaria, lo que los lleva a adivinar basándose en priores contextuales fuertes en lugar de abstenerse o analizar la evidencia visual local débil. Los benchmarks existentes (como POPE o HallusionBench) mantienen la coherencia objeto-contexto, dejando este régimen de alta incertidumbre inexplorado.

2. Metodología: El Framework ORIC

Para estudiar y mitigar este problema, los autores introducen ORIC (Object Recognition in Incongruous Context), un marco que construye pares objeto-contexto incongruos para evaluación y entrenamiento.

A. Construcción de Datos (Dos Estrategias Complementarias)

El framework se aplica al conjunto de validación y entrenamiento de MSCOCO:

1. Muestreo Guiado por LLM (Preguntas Positivas - "Sí"):
   • Objetivo: Identificar objetos existentes que son difíciles de reconocer debido a su contexto inusual.
   • Proceso: Se divide la imagen en regiones de interés (ROI) y contexto (no-ROI). Un LLM (GPT-5) recibe las categorías de objetos del contexto y debe predecir si un objeto ROI específico es "improbable" o "incoherente" con ese entorno. Se seleccionan los objetos que el LLM considera "no" (incoherentes) para formar preguntas de "Sí" (el objeto está, pero es incongruo).
2. Muestreo Guiado por CLIP (Preguntas Negativas - "No"):
   • Objetivo: Generar preguntas sobre objetos ausentes que son altamente plausibles en el contexto, provocando alucinaciones.
   • Proceso: Se encuentra una imagen visualmente similar a la original. Se calcula el CLIPScore entre la imagen y descripciones de objetos que no están presentes en la imagen original pero que podrían estarlo en la imagen similar. Se seleccionan los objetos ausentes con la mayor puntuación de alineación contextual para crear preguntas de "No" (el objeto no está, pero el contexto sugiere que debería).

B. ORIC-Bench

Aplicando este pipeline a MSCOCO, se crea ORIC-Bench, un benchmark de 1,000 imágenes con 2,000 preguntas binarias (1,000 "Sí" y 1,000 "No") diseñadas específicamente para maximizar la incongruencia contextual.

C. Mitigación: Visual Reinforcement Fine-Tuning (Visual-RFT)

Para abordar los errores, los autores proponen ajustar un modelo (Qwen3-VL-8B-Instruct) utilizando Visual-RFT.

• Mecanismo: Utiliza optimización de política relativa por grupos (GRPO) con recompensas verificables.
• Recompensas: Se otorgan recompensas binarias por la corrección de la respuesta y el cumplimiento del formato (razonamiento explícito + respuesta final).
• Objetivo: Forzar al modelo a basar sus decisiones en la evidencia visual verificable en lugar de depender de priores contextuales ciegos.

3. Resultados Clave

Evaluación de Modelos (18 LVLMs y 2 Detectores)

• Degradación Severa: Mientras que los modelos obtienen puntuaciones cercanas a la perfección (F1 > 96%) en benchmarks tradicionales como POPE, su rendimiento cae drásticamente (F1 ~60%) en ORIC-Bench.
• Sesgos de Clase:
  • Algunos modelos (ej. Llama-3.2-11B) muestran un sesgo extremo hacia "No" (F1 muy bajo en "Sí").
  • Otros (ej. Grounding DINO) tienden a alucinar ("Sí") en contextos incongruos.
  • Qwen3-VL-8B-Instruct obtuvo el mejor rendimiento general (F1 79.55), superando a modelos propietarios como GPT-5, pero aún lejos de la perfección.
• Análisis de Tamaño: La caída de rendimiento es consistente en objetos pequeños, medianos y grandes, confirmando que la incongruencia contextual (y no el tamaño del objeto) es la fuente principal de incertidumbre.
• Análisis de Errores: La mayoría de los errores persistentes se deben a expectativas a nivel de escena (semántica global), donde el modelo ignora la evidencia local en favor de lo que "debería" estar allí.

Efectividad de Visual-RFT

• Mejora Significativa: El ajuste fino de Qwen3-VL-8B-Instruct con solo 600 muestras de estilo ORIC mejoró el F1 macro en ORIC-Bench de ~79.5 a 82.8.
• Generalización: El modelo ajustado también mejoró su rendimiento en otros benchmarks de alucinación (AMBER y HallusionBench), demostrando que el entrenamiento en incongruencia contextual mejora la robustez general y la alineación con el razonamiento humano.

4. Contribuciones Principales

1. Identificación del Problema: Se establece la "incongruencia contextual" como una fuente crítica de incertidumbre y fallos en LVLMs que ha sido ignorada por los benchmarks actuales.
2. Framework ORIC: Introducción de un método sistemático que combina muestreo guiado por LLM y CLIP para generar datos de evaluación y entrenamiento de alta dificultad.
3. Benchmark ORIC-Bench: Creación de un nuevo estándar de evaluación que expone sesgos y debilidades en modelos de vanguardia, revelando que incluso los mejores modelos fallan en escenarios de alta incertidumbre.
4. Solución de Mitigación: Demostración de que el Visual-RFT es una estrategia efectiva y eficiente en datos para reducir errores impulsados por la incertidumbre y alinear mejor el razonamiento de los modelos con la evidencia visual.

5. Significado e Impacto

Este trabajo es fundamental porque cambia el enfoque de la evaluación de LVLMs: de probar la capacidad de reconocimiento en condiciones "normales" o coherentes, a probar la robustez frente a la incertidumbre contextual.

• Para la Investigación: Proporciona herramientas (datos y código) para diagnosticar por qué los modelos alucinan o ignoran objetos, vinculando estos fallos a la dependencia excesiva de priores contextuales.
• Para la Aplicación Práctica: En dominios críticos como la robótica o la asistencia médica, donde un modelo no debe alucinar objetos basándose en el contexto (ej. no asumir que hay un bisturí en una cocina solo porque es una "cocina"), ORIC ofrece una vía para entrenar modelos más fiables y seguros.
• Conclusión: La incongruencia contextual es una barrera clave para la percepción confiable de la IA, y el entrenamiento con recompensas verificables (RFT) en datos incongruos es un paso necesario hacia LVLMs más robustos.

El código y los datos están disponibles públicamente en el repositorio del proyecto.