"It's trained by non-disabled people": Evaluating How Image Quality Affects Product Captioning with Vision-Language Models

Resumen Técnico: Evaluación de la Calidad de Imagen en la Descripción de Productos por Modelos Visión-Lenguaje (VLM)

1. Problema y Contexto

Las personas ciegas o con baja visión (BLV, por sus siglas en inglés) dependen cada vez más de herramientas de Inteligencia Artificial (IA) basadas en Modelos Visión-Lenguaje (VLM) para identificar productos del hogar, alimentos y artículos de cuidado personal. Sin embargo, existe una brecha crítica en la comprensión de cómo los problemas de calidad de imagen inherentes a las fotografías tomadas por usuarios BLV (como desenfoque, encuadre incorrecto y rotación) afectan la precisión de estos modelos.

El problema central es que, aunque los VLMs funcionan bien en imágenes de alta calidad, su rendimiento se degrada significativamente en escenarios del mundo real. Además, las evaluaciones actuales a menudo ignoran las necesidades específicas de información de las personas con discapacidad (como marcas, variedades y ingredientes), centrándose en métricas de alineación de texto que pueden generar "falsos positivos" (descripciones que suenan bien pero son incorrectas). El título del artículo, "Está entrenado por personas no discapacitadas", refleja la percepción de los usuarios de que estos sistemas carecen de una evaluación centrada en la discapacidad.

2. Metodología

El estudio se divide en dos partes complementarias:

Estudio 1: Encuesta de Experiencias de Usuarios (N=86)

• Participantes: 86 personas ciegas o con baja visión en EE. UU.
• Objetivo: Comprender sus preferencias, desafíos y percepciones sobre el uso de herramientas de IA (como Seeing AI, Be My AI, ChatGPT) para identificar productos.
• Hallazgos clave de la encuesta:
  • Los usuarios prefieren la IA para leer etiquetas de alimentos y productos personales, pero dudan en usarla para medicamentos o situaciones de alta seguridad.
  • La toma de fotografías de calidad es el mayor obstáculo.
  • Los errores más frecuentes y peligrosos son la falta de información crítica (marcas, ingredientes) y descripciones parcialmente correctas (ej. identificar "carne" pero no especificar si es cerdo o pollo).
  • Los usuarios perciben que las herramientas actuales no ofrecen retroalimentación suficiente para corregir problemas de calidad de imagen en tiempo real.

Estudio 2: Evaluación Empírica con Dataset Anotado

• Dataset: Se creó un conjunto de datos nuevo y anotado manualmente con 1,859 imágenes de productos tomadas por personas BLV.
  • 729 imágenes de alta calidad (sin problemas de calidad).
  • 1,130 imágenes de baja calidad (con desenfoque, mal encuadre, rotación, u otras distorsiones).
  • Las anotaciones son granulares: Tipo de producto, Marca y Variedad (sabor, tamaño, ingredientes).
• Modelos Evaluados: Se probaron cuatro VLMs de vanguardia:
  1. GPT-4.1 (OpenAI)
  2. Gemini 2.5 Flash (Google)
  3. Llama 3.2 90B (Meta, Open Source)
  4. Molmo 72B (Allen Institute for AI, Open Source)
• Procedimiento:
  • Se generaron descripciones para todas las imágenes utilizando un prompt estandarizado que exigía precisión en marca y variedad.
  • Se realizó una codificación humana rigurosa (no basada solo en métricas automáticas como BLEU o CIDEr) para verificar la exactitud de la información crítica.
  • Se aplicaron análisis de regresión logística para determinar el impacto estadístico de cada tipo de degradación de imagen en la precisión del modelo.

3. Contribuciones Clave

1. Evidencia Empírica de la Brecha de Calidad: Demostración sistemática de que la precisión de los VLMs cae drásticamente cuando las imágenes tienen problemas de calidad comunes en el uso por parte de personas BLV.
2. Dataset Centrado en la Discapacidad: Creación de un conjunto de datos anotado con "verdad fundamental" (ground truth) detallada sobre productos, diseñado específicamente para evaluar las necesidades de información de las personas ciegas, en lugar de solo la identificación de objetos genéricos.
3. Marco de Evaluación Centrado en la Discapacidad: Propuesta de un enfoque de evaluación que prioriza las necesidades de información del usuario (precisión de marca/ingrediente) sobre métricas de similitud textual, y que considera la privacidad y la accesibilidad en la selección de modelos (incluyendo modelos de código abierto).
4. Recomendaciones Técnicas: Identificación de áreas específicas para mejorar los modelos (curación de datos, objetivos de aprendizaje y técnicas de inferencia) para hacerlos más robustos ante imágenes degradadas.

4. Resultados Principales

Rendimiento General:

• Imágenes de Alta Calidad: Los modelos propietarios (GPT y Gemini) alcanzaron una precisión superior al 95% (GPT: 98.5%, Gemini: 95.7%). Los modelos de código abierto (Llama, Molmo) fueron algo inferiores pero aún competentes (>86%).
• Imágenes de Baja Calidad: La precisión cayó drásticamente para todos los modelos.
  • GPT-4.1: Bajó al 74.9% (y al 69.4% con múltiples problemas).
  • Gemini: Bajó al 71.7%.
  • Llama: Bajó al 44.1%.
  • Molmo: Bajó al 36.1%.

Impacto de Problemas Específicos (Análisis de Regresión):

• Desenfoque (Blur): Es el problema más perjudicial, reduciendo las probabilidades de identificación correcta en un 88.3%. Los modelos luchan para extraer detalles finos (como sabores o ingredientes) en imágenes borrosas, aunque a veces captan la marca principal.
• Encuadre (Framing): Reduce la precisión en un 84.5%. Los modelos a menudo fallan al inferir el contenido faltante fuera del encuadre, incluso para marcas muy conocidas.
• Rotación: Es el menos perjudicial individualmente (reducción del 79.5%), pero afecta severamente la lectura de texto fino.
• Interacciones: La presencia de múltiples problemas (ej. desenfoque + mal encuadre) degrada el rendimiento de manera no lineal, aunque paradójicamente, cuando la imagen está suficientemente degradada, añadir más problemas no reduce la precisión tanto como el primer problema individual (saturación del error).

Diferencias entre Modelos:

• GPT y Llama: Son más sensibles al mal encuadre y al desenfoque que a la rotación.
• Molmo: Es particularmente vulnerable a la rotación, mostrando la mayor caída de rendimiento en imágenes giradas.
• Gemini: Muestra una resistencia relativa al desenfoque en comparación con GPT, pero es más sensible al encuadre.

Errores Críticos:

• Los modelos a menudo generan "alucinaciones" creíbles pero incorrectas (ej. identificar "Coca-Cola Zero" como "Diet Coke", o confundir marcas similares).
• En productos con etiquetas redondeadas (latas) o paneles de texto grandes (tablas nutricionales), el rendimiento decae, especialmente cuando se combinan con problemas de calidad de imagen.

5. Significado e Implicaciones

• Seguridad y Salud: La falta de precisión en la identificación de productos (medicamentos, alérgenos, variedades de alimentos) representa un riesgo directo para la salud y la seguridad de las personas BLV. Un error en la identificación de un producto puede tener consecuencias fatales.
• Necesidad de Evaluación Centrada en la Discapacidad: El estudio argumenta que las métricas estándar de IA son insuficientes. Se requiere una evaluación que priorice la exactitud de los detalles críticos para el usuario y que utilice datos que reflejen las condiciones reales de captura (imágenes imperfectas).
• Ruta hacia Mejoras:
  • Datos: Se necesitan conjuntos de datos sintéticos y reales que incluyan degradaciones sistemáticas (blur, rotación) para entrenar modelos más robustos.
  • Entrenamiento: Los modelos de código abierto ofrecen una vía prometedora para la privacidad y la personalización, pero requieren ajustes finos específicos para la identificación de productos.
  • Inferencia: Se sugieren técnicas de "abstención" (el modelo debe admitir incertidumbre en lugar de alucinar) y reconstrucción de imágenes antes de la descripción.
  • Diseño de Interfaz: Las herramientas deben proporcionar retroalimentación en tiempo real sobre la calidad de la foto, pero el estudio enfatiza que la carga no debe recaer exclusivamente en el usuario; los modelos deben ser capaces de manejar imágenes imperfectas.

En conclusión, el artículo demuestra que, aunque los VLMs son herramientas poderosas, su aplicación en la vida diaria de las personas con discapacidad visual es actualmente inestable debido a la sensibilidad a la calidad de la imagen. Se requiere un cambio de paradigma en el desarrollo de IA, pasando de optimizar para imágenes perfectas a diseñar sistemas robustos que funcionen en las condiciones reales de uso de los usuarios con discapacidad.