Would you still call this Dax? Novel Visual References in VLMs and Humans

Lo esencial

Imagina que le estás enseñando a un robot una palabra nueva para un objeto totalmente nuevo. Le muestras la imagen de una criatura extraña y brillante y le dices: "Esto es un Dax". Luego, empiezas a mostrarle al robot imágenes del Dax que se ven ligeramente diferentes: uno está borroso, otro está boca abajo, otro tiene un color diferente y otro tiene un brazo extra.

La pregunta que este artículo plantea es: ¿En qué punto dice el robot: "Eso ya no es un Dax"? Y lo más importante, ¿emite el robot el mismo juicio que lo haría un humano?

Aquí tienes un desglose sencillo de lo que descubrieron los investigadores:

1. La prueba del "Dax" (La configuración)

Los investigadores crearon un conjunto de datos masivo llamado NVRD (Dataset de Referencias Visuales Novedosas). Piensa en esto como una galería de arte gigante con 90 objetos únicos y creados artificialmente.

• Algunos objetos se parecen a cosas reales (una silla), pero se les ha dado un nombre falso (como "blomwich").
• Algunos son híbridos (un tostador con cabeza de jabalí).
• Otros son totalmente alienígenas y no existen en el mundo real.

Para cada objeto, crearon 20 versiones que se volvían progresivamente "peores" o más distorsionadas. Probaron cinco modelos diferentes de IA (los "robots") y 2.400 humanos para ver cómo reaccionaban cuando el objeto cambiaba.

2. El problema del "Conocimiento Previo"

El primer gran hallazgo es que la IA tiene dificultades cuando ya sabe qué es algo.

• La analogía humana: Si le muestras a un humano la foto de un perro real y lo llamas "Dax", es probable que diga: "No, eso es un perro". Tienen un recuerdo muy fuerte de que los perros tienen un nombre específico.
• El resultado de la IA: Los modelos de IA actuaron de forma similar. Cuando el objeto era algo familiar (como una silla), la IA se negaba a aprender el nuevo nombre "Dax" y seguía llamándolo "silla". Sin embargo, cuando el objeto era totalmente nuevo y extraño, la IA aceptaba felizmente el nuevo nombre.

3. El sesgo de "Forma vs. Textura"

Luego, los investigadores empezaron a retorcer los objetos. Cambiaron el color, añadieron ruido o remodelaron completamente el objeto.

• La analogía humana: Los humanos somos como escultores. Si tomas una estatua de arcilla de un Dax y le aplastas la cara o le rompes un brazo, decimos: "¡Ese ya no es el mismo Dax!". Nos importa profundamente la forma. Si solo lo pintas de azul o haces que parezca una pintura, seguimos diciendo: "Sí, ese sigue siendo un Dax".
• El resultado de la IA: ¡Los modelos de IA coincidieron con los humanos en esto! Ellos también se centraron principalmente en la forma. Si la forma cambiaba, la IA dejaba de llamarlo Dax. Si solo cambiaba el color o la textura, la IA no tenía problema.

4. El robot "Demasiado Generoso"

Este es el hallazgo más crítico. Aunque la IA y los humanos coincidieron en qué era lo importante (la forma), no estuvieron de acuerdo en cuánto cambio era demasiado.

• La analogía humana: Los humanos somos estrictos. Si estiras el cuello de un Dax hasta que parece una jirafa, decimos: "No, eso no es un Dax".
• El resultado de la IA: Los modelos de IA fueron demasiado generosos. Seguían llamando al objeto "Dax" incluso cuando estaba estirado, deformado o se le habían añadido partes extra. Estaban dispuestos a aceptar un rango de extrañeza mucho más amplio de lo que los humanos aceptarían.

La analogía: Imagina que un humano y un robot están jugando a un juego en el que tienes que adivinar si dos fotos son el mismo animal.

• Humano: "Ese es un gato. Y ese... es un gato con la cola muy larga. Sigue siendo un gato. Pero ¿eso? Eso es un gato con cabeza de perro. No, eso no es un gato".
• Robot: "Ese es un gato. Ese es un gato con la cola larga. Ese es un gato con cabeza de perro. Ese es un gato con un árbol creciendo de él. Sí, sigue siendo un gato".

5. Por qué esto es importante (Según el artículo)

El artículo concluye que, aunque la IA está mejorando en su capacidad para aprender cosas nuevas sobre la marcha, no posee los mismos límites de "sentido común" que los humanos.

Si un humano y una IA intentan comunicarse sobre un objeto nuevo en el mundo real, el humano podría pensar: "Eso está demasiado roto para ser lo mismo", mientras que la IA insiste: "No, sigue siendo lo mismo". Este desajuste podría dificultar que trabajen juntos de manera efectiva en el futuro.

En resumen: La IA puede aprender palabras nuevas, pero está demasiado dispuesta a estirar la definición de esas palabras, especialmente cuando el objeto se ve muy diferente al original.

Resumen técnico

Planteamiento del problema

Los modelos de visión y lenguaje (VLM), al igual que los aprendices humanos, se ven expuestos frecuentemente a nuevos conceptos visuales después de su entrenamiento inicial. Sin embargo, los mecanismos mediante los cuales estos modelos mapean referencias visuales novedosas al lenguaje —particularmente cuando dichas referencias contradicen el conocimiento previo de la fase de preentrenamiento— siguen siendo poco explorados. Mientras que la investigación existente ha examinado las aumentaciones visuales de conceptos familiares, existe una falta de evaluaciones para conceptos "genuinamente nuevos" (estímulos de código abierto construidos desde cero). Los autores se preguntan: ¿Cómo categorizan los modelos los estímulos novedosos tras su exposición? ¿Qué tan bien los mapean con nombres no convencionales (nonce)? ¿Se generalizan más allá de instancias idénticas y cómo se compara este comportamiento con los aprendices humanos?

Metodología

Para abordar estas preguntas, los autores introducen el Novel Visual References Dataset (NVRD) y realizan una evaluación comparativa de los VLM frente a los juicios humanos.

1. El Novel Visual References Dataset (NVRD)

• Composición: El conjunto de datos contiene 19,176 imágenes que abarcan 90 conceptos visuales. Estos conceptos se categorizan en tres tipos:
  • Entidades conocidas: Objetos familiares (por ejemplo, una lámpara) a los que se les asignan nombres no convencionales para probar el mapeo cuando esto contradice el conocimiento previo.
  • Entidades compuestas: Híbridos de objetos existentes (por ejemplo, combinaciones de forma-forma o forma-textura).
  • Entidades totalmente novedosas: Objetos que no existen o que no se asemejan a elementos del mundo real.
• Perturbaciones: Cada imagen base es sometida hasta a 20 niveles de perturbaciones visuales controladas a través de 11 ejes. Estos incluyen:
  • Ediciones de bajo nivel: Ruido gaussiano, escalado, pixelación, compresión JPEG y cambios de color.
  • Ediciones de alto nivel: Cambios de textura, cambios de fondo, degradación del estilo artístico, deformación de la forma, adición de partes y eliminación de partes.
• Generación: Las imágenes fueron generadas utilizando Gemini-3 Pro Image y Gemini-2.5 Flash, seguidas de un proceso de control de calidad automatizado de dos etapas y validación manual.

2. Configuración experimental
El estudio evalúa tres modelos de código abierto (Qwen-2 VL 7B, Idefics-3 8B, Molmo-2 8B) y dos modelos de código cerrado (GPT-4o Mini, Gemini-2.5 Flash) utilizando tres paradigmas de prompting bajo configuraciones de aprendizaje en contexto (ICL):

• Generación de nombres: Se muestran a los modelos una imagen base con una palabra no convencional y una imagen perturbada con un pie de foto de completar espacios en blanco para ver si generan la palabra no convencional.
• Probabilidades de tokens: Se consulta a los modelos por la probabilidad logarítmica asignada a la palabra no convencional frente a etiquetas "comunes" (familiares) para medir la adquisición genuina frente a los efectos de recencia.
• Calificación de escala Likert de doble imagen: Los modelos (y los humanos) ven una imagen base etiquetada con una palabra no convencional y una imagen perturbada, y luego se les pide que califiquen el grado de acuerdo (escala 1–7) sobre si ambas imágenes comparten la misma etiqueta.

3. Estudio humano
Para establecer una línea base, los autores recolectaron 2,400 juicios de 30 hablantes nativos de inglés a través de Prolific. Los participantes realizaron la misma tarea de escala Likert de doble imagen en un subconjunto de NVRD, centrándose en perturbaciones de alto nivel.

Resultados clave

• Adquisición vs. Conocimiento previo: Los modelos pueden adquirir referencias visuales novedosas en contexto, pero esta capacidad se reduce significamente cuando los estímulos contradicen el conocimiento conceptual previo (por ejemplo, objetos conocidos con nombres nuevos). Esto refleja el sesgo de "exclusividad mutua" observado en el aprendizaje de palabras en humanos, donde los aprendices se resisten a aplicar nuevas etiquetas a objetos que ya tienen nombres existentes.
• Sensibilidad a las perturbaciones: Los modelos exhiben un sesgo de forma, similar a los humanos. Son más sensibles a las perturbaciones estructurales (deformación de la forma, adición/eliminación de partes), mostrando un declive pronunciado en el acuerdo a medida que estas distorsiones aumentan. Por el contrario, las ediciones de bajo nivel (cambios de color, ruido, escalado) tienen un impacto mínimo en los juicios de los modelos, manteniendo calificaciones altas (acuerdo fuerte).
• Sobre-generalización: Mientras que los modelos y los humanos muestran una sensibilidad correlacionada a los tipos de perturbación (ambos clasifican los cambios estructurales como más amenazantes para la identidad que los cambios de textura o color), los modelos sobre-generalizan significativamente. Los modelos tienden a extender las etiquetas aprendidas a estímulos fuertemente perturbados que los humanos rechazan. Por ejemplo, los humanos califican los objetos con deformación de forma como "en desacuerdo" (puntuaciones <3) en niveles moderados de perturbación, mientras que los modelos a menudo permanecen en el rango de "neutral" a "acuerdo" (puntuaciones 4–6).
• Divergencia adversarial: En un estudio de ablación donde se pidió a los modelos asignar la misma etiqueta a objetos completamente diferentes, los modelos frecuentemente estuvieron de acuerdo (asignando puntuaciones de 3 o más), mientras que los humanos consistentemente estuvieron en desacuerdo. Esto sugiere que los modelos pueden tener un patrón más amplio de "estar de acuerdo con todo" en ciertos contextos, distinto de su sensibilidad matizada en la tarea principal.

Contribuciones y significancia

El artículo contribuye con el NVRD como un corpus y banco de pruebas para estudiar el aprendizaje de conceptos visuales tanto en humanos como en máquinas. Su importancia radica en:

1. Cerrar la brecha: Extiende el estudio de los sesgos visuales (forma vs. textura) de objetos familiares a conceptos verdaderamente novedosos y de código abierto.
2. Comparación Humano-Modelo: Proporciona una comparación directa y cuantitativa de cómo los humanos y los VLM generalizan conceptos novedosos, revelando que, si bien los modelos comparten jerarquías de sensibilidad similares a las humanas, carecen del rigor discriminativo para rechazar estímulos fuertemente distorsionados.
3. Implicaciones para la interacción: Los hallazgos resaltan una desalineación crítica para la interacción fiable entre humanos y agentes. Si los agentes sobre-generalizan etiquetas novedosas mientras que los humanos no lo hacen, podrían tener dificultades para mantener referentes compartidos en entornos evolutivos.

Los autores concluyen que el NVRD sirve como una herramienta para sondear estas brechas cognitivas y fomentar el desarrollo de sistemas de visión y lenguaje que puedan aprender y comunicarse sobre conceptos novedosos con la fundamentación y la sensibilidad observadas en los aprendices humanos.