🤖 machine learning

Common Inpainted Objects In-N-Out of Context

El paper presenta COinCO, un nuevo dataset generado mediante inpainting basado en difusión que incluye 97,722 imágenes con objetos in- y out-of-contexto verificados por modelos de visión-lingüística, diseñado para avanzar en el razonamiento contextual, la predicción de objetos y la detección de falsificaciones en visión por computadora.

Autores originales: Tianze Yang, Tyson Jordan, Ruitong Sun, Ninghao Liu, Jin Sun

Publicado 2026-04-07

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Tianze Yang, Tyson Jordan, Ruitong Sun, Ninghao Liu, Jin Sun

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Hola! Imagina que el mundo de la visión por computadora (la forma en que las máquinas "ven" y entienden imágenes) es como un niño aprendiendo a pintar.

Hasta ahora, a este niño solo le mostraban fotos perfectas: un caballo en un campo, un gato en un sofá. Todo tenía sentido. Pero, ¿qué pasa si alguien pone un elefante dentro de una taza de café? Un humano diría inmediatamente: "¡Eso no puede ser! ¡Es ridículo!". Pero la máquina, al no haber visto nunca un elefante en una taza, podría pensar: "Bueno, si el gato cabe en el sofá, ¿por qué no un elefante en una taza?".

El problema es que en la vida real, las cosas raras y fuera de lugar son muy difíciles de encontrar para enseñarles a las máquinas.

Aquí es donde entra el equipo de la Universidad de Georgia con su nueva creación: COinCO.

¿Qué es COinCO? (La "Fábrica de Lo Raro")

Imagina que COinCO es una fábrica mágica de fotos manipuladas.

El lienzo: Toman miles de fotos reales y normales (de la base de datos COCO, que es como un álbum de fotos de la vida cotidiana).
El truco: Usan una "varita mágica" (una tecnología llamada difusión, que es como un pintor de IA muy avanzado) para borrar un objeto de la foto y poner otro en su lugar.
- Ejemplo 1 (Coherente): Borrar una manzana y poner una pera. (Todo sigue teniendo sentido).
- Ejemplo 2 (Incoherente): Borrar una silla y poner un tiburón. (¡Ahí está el problema! Un tiburón no debería estar en una sala de estar).

Han creado casi 98,000 fotos de este tipo. Es como un laboratorio de control donde pueden crear "errores" a voluntad para enseñar a las máquinas a detectar lo que no encaja.

¿Cómo saben si algo está "fuera de lugar"? (Los Tres Detectives)

Para asegurarse de que sus fotos son buenas, no confían en una sola opinión. Usan tres "detectives" muy inteligentes (modelos de IA gigantes) que revisan cada foto con tres reglas simples, como si fueran un inspector de calidad:

El Detective de la Ubicación: ¿Está el objeto en el sitio correcto? (Ejemplo: Un paraguas abierto bajo el agua no tiene sentido).
El Detective del Tamaño: ¿El tamaño es lógico? (Ejemplo: Un elefante del tamaño de un ratón en una habitación no es realista).
El Detective de la Compañía: ¿Están los objetos juntos de forma natural? (Ejemplo: Una vaca y un cohete espacial en el mismo cielo no suelen ir juntos).

Si un objeto falla en cualquiera de estas tres pruebas, la IA lo marca como "sospechoso" o "fuera de contexto".

¿Para qué sirve todo esto? (Los Tres Superpoderes)

El paper demuestra que con estas fotos "raras", las máquinas pueden aprender tres cosas increíbles:

El Experto en Lógica (Clasificación de Contexto):
Imagina que tienes un profesor gigante (muy lento y caro) que explica por qué algo está mal. El equipo entrenó a tres "estudiantes" pequeños y rápidos (modelos más ligeros) para que aprendan de ese profesor. Ahora, estos estudiantes pueden mirar una foto y decirte rápidamente: "Ese caballo en el baño no encaja porque los caballos no usan urinarios". ¡Y lo hacen muy rápido!
El Adivino de lo que Falta (Predicción de Objetos):
Esta es una tarea nueva. Imagina que ves una foto de una playa vacía en el centro de la arena. La IA puede preguntarse: "¿Qué objeto debería estar aquí?".
- Si la IA ve una playa, puede predecir que lo más probable es que falte un sombrilla, una taza de helado o un juguetes de arena.
- Es como si la máquina tuviera sentido común para completar los huecos de una historia visual.
El Detective de Falsificaciones (Detección de Fake):
Esta es la parte más importante para la seguridad. Hoy en día, hay muchas fotos falsas (hechas por IA) que parecen reales. Los detectores actuales buscan "ruido" o errores técnicos en la imagen.
Pero COinCO les enseña a buscar errores de lógica.
- Analogía: Imagina que un detective busca un ladrón. El detector antiguo busca si el ladrón lleva una máscara (errores técnicos). El detector nuevo, gracias a COinCO, dice: "Espera, ese ladrón está flotando a 5 metros del suelo y tiene el tamaño de un gigante. ¡Eso no es natural! ¡Es una falsificación!".
- El resultado: Al añadir esta "lógica de contexto" a los detectores actuales, estos se vuelven mucho más inteligentes y detectan trampas que antes pasaban desapercibidas, sin necesidad de volver a entrenarlos desde cero.

En Resumen

COinCO es como un gimnasio para la inteligencia artificial. En lugar de dejar que las máquinas solo vean cosas perfectas, les mostramos miles de situaciones absurdas (un pez en un árbol, un coche en el techo) para que aprendan a pensar como humanos: "Esto no tiene sentido".

Al final, esto nos ayuda a crear máquinas que no solo "ven" píxeles, sino que entienden la historia detrás de la imagen, lo cual es vital para detectar mentiras visuales y crear contenido más inteligente.

1. El Problema

La comprensión visual de las máquinas a menudo carece de la capacidad de razonamiento contextual que poseen los humanos. Los humanos evalúan instintivamente la coherencia entre los objetos y su entorno (por ejemplo, un caballo en un campo es natural, pero un zebra de tamaño miniatura en una playa no lo es).

Escasez de datos: Los conjuntos de datos de visión por computadora existentes (como COCO) contienen principalmente objetos en sus entornos naturales. Esto genera una carencia crítica de ejemplos de "fuera de contexto" (out-of-context) para entrenar modelos que deban detectar inconsistencias.
Dificultad de aprendizaje: Sin suficientes ejemplos de violaciones contextuales, es difícil entrenar modelos de aprendizaje profundo para reconocer anomalías semánticas, lo cual es crucial para tareas como la detección de imágenes manipuladas (forense digital).

2. Metodología

Los autores proponen COinCO, un nuevo conjunto de datos y un pipeline de creación controlada basado en la manipulación de imágenes.

Generación de Datos (Inpainting):
- Se parte del conjunto de datos COCO (Common Objects in Context).
- Se utiliza un modelo de inpainting basado en difusión (Stable Diffusion) para reemplazar sistemáticamente un objeto en cada imagen por otro de las 80 categorías de COCO.
- Se aplica un proceso de verificación riguroso:
  1. Detección de objetos: Se usa YOLOv8x para asegurar que el objeto inpaintado se haya generado correctamente dentro de la máscara.
  2. Razonamiento contextual: Se emplean tres Grandes Modelos de Lenguaje Visual (LVLMs) de última generación (Molmo-72B, Qwen2.5-VL-72B, InternVL3.5-38B) para evaluar si el nuevo objeto es coherente con la escena.
Criterios de Evaluación Contextual:
La clasificación de "dentro de contexto" (in-context) vs. "fuera de contexto" (out-of-context) se basa en tres dimensiones:
1. Ubicación: ¿Es razonable la posición espacial del objeto?
2. Tamaño: ¿Es razonable la escala del objeto respecto al entorno?
3. Co-ocurrencia: ¿Es plausible que este objeto aparezca junto a los objetos existentes en la escena?
Consenso: Solo se conservan las imágenes donde los tres LVLMs llegan a un acuerdo unánime, resultando en 97,722 imágenes únicas (73,929 con anotaciones de razonamiento completas).

3. Contribuciones Clave

El artículo presenta cuatro contribuciones principales:

Nuevo Dataset (COinCO): Un conjunto de datos a gran escala de imágenes parcialmente manipuladas que incluye tanto objetos coherentes como incoherentes con su contexto, superando la limitación de datos de violaciones contextuales en la literatura actual.
Tarea de Razonamiento Contextual de Alta Granularidad: Se introduce una tarea de clasificación basada en los tres criterios mencionados (ubicación, tamaño, co-ocurrencia). Se utiliza distilación de conocimiento para entrenar modelos estudiantes eficientes (Qwen2.5-VL-3B) a partir de un modelo maestro grande (72B), logrando razonamiento interpretable y rápido.
Nueva Tarea: "Objects-from-Context": Un desafío novedoso que pide al modelo predecir qué objetos (a nivel de instancia y de "clique" o supercategoría) encajarían naturalmente en una escena dada, basándose únicamente en el contexto visual.
Mejora en la Detección de Falsificaciones (Fake Detection): Se demuestra que el razonamiento contextual puede integrarse en pipelines de detección de imágenes falsas sin necesidad de fine-tuning, mejorando significativamente la localización de regiones manipuladas.

4. Resultados

Rendimiento de Modelos Estudiantes: Los modelos de 3B distilados lograron mejorar la precisión en el razonamiento contextual en el conjunto de prueba de COinCO (promedio de +7.6%). Específicamente, el modelo de "ubicación" mejoró un 43.8% en imágenes originales de COCO, demostrando que aprendió principios contextuales reales y no solo artefactos de inpainting.
Predicción de Objetos: En la tarea "Objects-from-Context", el modelo propuesto superó ampliamente a las líneas base aleatorias y basadas en co-ocurrencia, alcanzando una precisión Top-1 del 16.32% (nivel de instancia) y 35.10% (nivel de clique), frente a un 1.25% y 8.33% de las líneas base.
Detección de Falsificaciones: Al aplicar un factor de mejora contextual ( $\gamma=5$ ) a detectores de estado del arte (como CAT-Net, TruFor, PSCC-Net), se mejoró la localización de regiones falsas. CAT-Net alcanzó un 92.7% de precisión y un F1-score de 76.5%, mostrando que el contexto es una señal complementaria poderosa.
Validación Humana: La concordancia entre el consenso de los LVLMs y la evaluación humana fue del 95.10%, confirmando la fiabilidad de las etiquetas generadas automáticamente.

5. Significado e Impacto

COinCO establece un banco de pruebas controlado fundamental para avanzar en la comprensión visual consciente del contexto. Su impacto se extiende a:

Forense Digital: Proporciona una nueva vía para detectar imágenes generadas o manipuladas (especialmente aquellas con inconsistencias semánticas) sin necesidad de reentrenar modelos complejos.
Edición de Imágenes Inteligente: La tarea "Objects-from-Context" permite sugerir objetos que encajan naturalmente en una escena, mejorando herramientas de edición asistida por IA.
Razonamiento Visual: Demuestra que es posible descomponer el razonamiento contextual complejo en tareas modulares (tamaño, ubicación, co-ocurrencia) y transferir ese conocimiento a modelos más pequeños y eficientes para su despliegue en el mundo real.

En resumen, el trabajo cierra la brecha entre la detección de anomalías visuales y el razonamiento semántico profundo, ofreciendo un recurso esencial para la próxima generación de sistemas de visión por computadora.