Scale Can't Overcome Pragmatics: The Impact of Reporting Bias on Vision-Language Reasoning

El estudio demuestra que el sesgo de reporte en los datos de entrenamiento de los modelos de visión y lenguaje impide el desarrollo de capacidades de razonamiento (espacial, temporal, negación y conteo), ya que escalar el tamaño de los datos o modelos no resuelve este problema, sino que se requiere una curación intencional de datos que incluya información tácita.

Lo esencial

🚫 El Problema: "Más datos no significan más inteligencia"

Imagina que tienes un estudiante muy brillante (un modelo de Inteligencia Artificial) al que le has dado billones de libros para leer. La gente cree que, si le das suficientes libros, el estudiante aprenderá a hacer de todo: contar, entender el espacio, negar cosas y entender el tiempo.

Pero este paper nos dice algo sorprendente: No importa cuántos libros leas, si todos los libros te ocultan la misma información, nunca aprenderás lo que falta.

Los autores llaman a esto "Sesgo de Reporte".

🗣️ La Analogía del Fotógrafo y el Periodista

Imagina que eres un fotógrafo y le pides a un periodista que escriba una nota sobre una foto que acabas de tomar.

• La foto: Muestra a 37 personas paradas detrás de un campo de fútbol.
• Lo que escribe el periodista: "¡Qué gran partido hoy!".

¿Por qué no escribió "37 personas"? Porque, en la vida real, cuando hablamos, omitimos lo obvio o lo que no creemos necesario.

• Si ves un perro y un gato, dices "un perro y un gato". No dices "un perro a la izquierda de un gato" a menos que sea crucial.
• Si ves un perro, no dices "no hay un elefante". Eso sería ridículo.
• Si ves a alguien lanzando una pelota, no dices "y después la pelota caerá", porque es obvio.

El problema: Las Inteligencias Artificiales (IA) se entrenan con fotos y textos escritos por humanos en internet. Como los humanos somos "perezosos" al describir cosas (omitimos detalles espaciales, contados, negaciones y tiempo), la IA nunca ve esos ejemplos.

La IA piensa: "Nadie nunca me ha dicho que cuente o que use 'no', así que supongo que no es importante".

🔍 Lo que descubrieron los investigadores

Los autores analizaron los "libros" (datos) que usan las IAs más famosas (como OpenCLIP, LLaVA, Molmo) y encontraron cuatro áreas donde la IA es terrible porque los humanos no las describen bien:

1. Espacio: ¿Qué está a la izquierda? ¿Qué está encima? (Los humanos rara vez lo escriben).
2. Tiempo: ¿Qué pasó antes? ¿Qué pasará después? (Los humanos solo describen el "ahora").
3. Negación: ¿Qué no está en la foto? (Nadie escribe "no hay un unicornio").
4. Conteo: ¿Cuántos objetos hay? (Decir "un grupo de pájaros" es más fácil que decir "5 pájaros").

El resultado: Aunque las IAs son gigantes y ven millones de fotos, fallan estrepitosamente en estas tareas. Si les preguntas "¿Cuántos cebra hay?", a menudo adivinan mal.

📈 ¿Por qué "hacerla más grande" no funciona?

Mucha gente cree que la solución es simple: "Hagamos el modelo más grande y leemos más datos".

El paper dice que esto es como intentar aprender a tocar el piano leyendo 1 millón de libros de cocina. No sirve de nada.

• Hicieron pruebas: Aumentaron el tamaño de la IA y la cantidad de datos.
• Resultado: La IA mejoró un poquito en algunas cosas, pero en las tareas de "lógica oculta" (contar, negar, espacio), siguió fallando.
• Conclusión: No puedes "escalar" tu camino hacia la inteligencia si el problema es que los datos de entrada están "mudos" sobre esos temas.

🛠️ La Solución: "El Manual de Instrucciones"

Entonces, ¿cómo arreglamos esto? No necesitamos más datos, necesitamos mejores instrucciones.

Imagina que vuelves a pedirle al periodista que escriba sobre la foto, pero esta vez le das un manual de instrucciones:

• "Por favor, cuenta exactamente cuántas personas hay".
• "Describe qué hay a la izquierda y a la derecha".
• "Menciona qué NO está en la imagen".

El experimento:
Los investigadores hicieron un estudio donde pidieron a humanos que describieran fotos.

1. Sin instrucciones: Escribieron lo de siempre (omitían detalles).
2. Con instrucciones específicas: ¡Bum! De repente, los textos tenían muchos más detalles de conteo, espacio y tiempo.

La magia: Cuando entrenaron a una IA con estos nuevos textos (creados con instrucciones específicas), la IA mejoró mucho en esas tareas.

💡 La Lección Principal

La inteligencia no surge mágicamente por tener más datos (como creíamos antes). Surge por curar cuidadosamente esos datos.

• Antes: "Demos a la IA todo lo que encuentre en internet y verás qué aprende".
• Ahora: "Debemos decirle a la IA (y a los humanos que crean sus datos) exactamente qué tipos de lógica queremos que aprenda".

En resumen:
Las IAs actuales son como un estudiante que ha leído todo internet, pero como internet está lleno de descripciones superficiales, el estudiante no sabe contar ni entender el espacio. Para que sea inteligente, no necesitamos darle más libros; necesitamos enseñarle a los autores de los libros a escribir mejor.

El paper nos dice que el futuro de la IA no es solo "más grande", sino más intencional.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Scale Can't Overcome Pragmatics: The Impact of Reporting Bias on Vision-Language Reasoning" en español.

1. El Problema: La Paradoja de la Razonamiento en VLMs

A pesar del rendimiento impresionante de los Modelos Visión-Lenguaje (VLMs) en benchmarks estandarizados, estos modelos fallan sistemáticamente en tareas que requieren razonamiento lógico básico, como:

• Conteo (Counting).
• Razonamiento espacial (posiciones relativas: izquierda, derecha, encima, debajo).
• Razonamiento temporal (antes, después).
• Negación (ausencia de objetos o atributos).

Los autores proponen que esta deficiencia no se debe a limitaciones arquitectónicas, sino a un sesgo de reporte (reporting bias) en los datos de entrenamiento. Cuando las personas describen imágenes en la web (captions, texto alternativo), omiten sistemáticamente información "tácita" o obvia debido a principios pragmáticos de la comunicación (como las Máximas de Grice). Por ejemplo, es más probable que alguien escriba "un gato y un perro" que "un gato a la izquierda de un perro", ya que la posición exacta se considera implícita o innecesaria en un contexto conversacional general.

2. Metodología

El estudio se divide en cuatro fases principales:

A. Hipótesis Teóricas y Análisis de Corpora

Basándose en la lingüística, la pragmática y la ciencia cognitiva, los autores identifican cuatro tipos de razonamiento que los humanos tienden a omitir en las descripciones de imágenes. Luego, analizaron tres grandes corpora de entrenamiento de VLMs de código abierto:

1. LAION-2B (OpenCLIP).
2. LLaVA-1.5.
3. Molmo (incluyendo PixMo).

Realizaron búsquedas de palabras clave y muestreos manuales para estimar la frecuencia real de estos conceptos.

• Hallazgo clave: A pesar de la escala masiva (miles de millones de puntos de datos), la ocurrencia de estos conceptos es extremadamente baja. Por ejemplo, el razonamiento espacial representa solo el 0.1% en LAION, y la negación es casi inexistente.

B. Creación de Benchmarks

Desarrollaron cuatro benchmarks específicos para evaluar estas habilidades, utilizando imágenes del mundo real (COCO, What'sUp, CountBench, etc.):

• Espacial: Identificar relaciones espaciales entre dos objetos.
• Conteo: Determinar la cantidad exacta de objetos (rango 2-10).
• Negación: Identificar atributos que no están presentes.
• Temporal: Distinguir entre eventos "antes" y "después".

C. Evaluación de Modelos y Leyes de Escala

Evaluaron una amplia gama de modelos, desde contrastivos (OpenCLIP de varios tamaños) hasta generativos (LLaVA, Molmo, Qwen, GPT-4o, Claude), en diferentes escalas de parámetros y datos.

• Prueba de Escalado: Analizaron si aumentar el tamaño del modelo o la cantidad de datos (hasta 34B de tokens) mejora el rendimiento en estas tareas específicas.
• Prueba Multilingüe: Investigaron si traducir captiones no inglesas al inglés (aumentando la diversidad lingüística) mitiga el sesgo.

D. Estudio de Usuario y Mitigación

Realizaron un estudio controlado con anotadores humanos utilizando el mismo conjunto de 100 imágenes de COCO, pero con diferentes instrucciones:

1. Instrucciones estándar (COCO).
2. Instrucciones de LLaVA (pedir conteo y posición).
3. Instrucciones de PixMo.
4. Instrucciones personalizadas ("Ours"): Solicitando explícitamente los cuatro tipos de razonamiento.

Posteriormente, realizaron un experimento de fine-tuning para verificar si aumentar la proporción de datos con razonamiento (mitigando el sesgo) mejora el rendimiento del modelo.

3. Resultados Clave

Rendimiento de los Modelos

• Los modelos actuales (incluso los más grandes como GPT-4o o Qwen2-VL) tienen un rendimiento muy por debajo del humano en razonamiento espacial, de negación y temporal.
• Negación: Los modelos contrastivos (CLIP) a menudo fallan estrepitosamente, puntuando incluso por debajo del azar, ya que tienden a ignorar la negación y detectar solo el objeto positivo.
• Conteo: Es la habilidad donde mejor se desempeñan, pero aún lejos del 100% humano, y correlaciona directamente con la mayor (aunque aún baja) frecuencia de palabras de conteo en los datos.

El Fracaso del "Scaling" (Escalado)

• Leyes de Escala: Aumentar el tamaño del modelo o la cantidad de datos no conduce a la emergencia de estas habilidades de razonamiento. Las curvas de pérdida no disminuyen significativamente para tareas de razonamiento, a diferencia de las tareas de percepción pura.
• Proyección: Para que un modelo como CLIP alcance el rendimiento humano en razonamiento espacial o de negación solo mediante escalado, necesitaría una cantidad de datos y parámetros intratable (imposible de calcular).
• Multilingüismo: Traducir datos de otros idiomas al inglés no mejora el rendimiento, lo que indica que el sesgo de reporte es un fenómeno humano universal, no específico del inglés.

Impacto de las Instrucciones de Anotación

• Correlación Directa: Las instrucciones específicas tienen un impacto masivo. Cuando se pide explícitamente a los anotadores que incluyan conteo, posición, negación o tiempo, la presencia de estos conceptos en los datos aumenta drásticamente (ej. de ~2% a ~52% para negación en el estudio controlado).
• Fine-tuning: Un modelo fine-tuned con un corpus donde el 39% de los datos contienen información de conteo (logrado mediante instrucciones específicas) superó significativamente al modelo base y a uno fine-tuned con datos estándar, demostrando que la calidad y la intención en la recolección de datos son más efectivas que el volumen bruto.

4. Contribuciones Principales

1. Identificación del Sesgo de Reporte: Demostraron que el sesgo pragmático en la descripción humana de imágenes es la causa raíz de la falta de razonamiento en VLMs, incluso en corpora web a escala masiva.
2. Evaluación Exhaustiva: Crearon benchmarks específicos y evaluaron modelos contrastivos y generativos, revelando que el rendimiento humano es trivial en estas tareas, pero inalcanzable para los modelos actuales.
3. Refutación del "Scaling Law" para Razonamiento: Proporcionaron evidencia empírica de que escalar datos y parámetros no resuelve la falta de razonamiento lógico si los datos subyacentes carecen de la información necesaria debido a sesgos humanos.
4. Solución Basada en Instrucciones: Probaron que la recolección de datos intencional, mediante instrucciones de anotadores (o LLMs) diseñadas para elicitar información tácita, es una vía viable y efectiva para mejorar las capacidades de razonamiento.

5. Significado e Implicaciones

El artículo cambia el paradigma en la investigación de VLMs:

• De la Cantidad a la Intención: No basta con escalar los datos; la curación de datos debe ser intencional. Se debe diseñar activamente para incluir información que los humanos omiten naturalmente.
• Calidad sobre Cantidad: La calidad de las instrucciones de anotación es crítica. Las instrucciones deben hacer explícita la "Pregunta bajo Discusión" (QUD) para forzar al anotador a incluir detalles espaciales, temporales o de negación.
• Advertencia sobre Datos Sintéticos: Dado que los LLMs también sufren de sesgo de reporte (entrenados en datos humanos), la síntesis de datos para VLMs requiere instrucciones igualmente rigurosas para no perpetuar estos vacíos de razonamiento.
• Futuro: Se necesita automatizar la identificación de brechas en los corpora y desarrollar métodos de recolección que eliten razonamiento de manera natural o programática, en lugar de depender de la emergencia de habilidades a través del volumen de datos.

En resumen, el paper concluye que "la escala no puede superar la pragmática": sin abordar el sesgo inherente en cómo los humanos describen el mundo visual, los modelos de IA seguirán careciendo de capacidades de razonamiento fundamentales.