Resumen Técnico: Destilación de Cadena de Pensamiento Condicionada por la Respuesta para Visión Industrial de Pocos Disparos con Pequeños VLM

Planteamiento del Problema

El despliegue de IA para la inspección visual en la fabricación enfrenta tres cuellos de botella críticos: requisitos que cambian rápidamente, la aparición de nuevos tipos de defectos y la escasez de grandes conjuntos de datos etiquetados. Las redes neuronales convolucionales (CNN) tradicionales requieren miles de imágenes etiquetadas, lo que a menudo es inviable para fábricas que necesitan clasificadores en cuestión de días utilizando menos de 30 ejemplos. Aunque los modelos de lenguaje-visión (VLM) de vanguardia como GPT-4.1 pueden interpretar imágenes sin entrenamiento específico para la tarea, su precisión en tareas industriales especializadas suele ser deficiente (por ejemplo, 24.1% en la clasificación de agregados de concreto), y no pueden desplegarse en las instalaciones debido al costo y las restricciones de privacidad de datos. Por el contrario, los pequeños VLM (1–7B de parámetros) caben en hardware de borde pero, cuando se ajustan finamente de forma estándar con datos mínimos, tienden a memorizar pares imagen-etiqueta en lugar de aprender conocimiento de dominio, fallando en su capacidad de generalización.

Los métodos existentes de destilación de Cadena de Pensamiento (CoT), que entrenan modelos más pequeños con datos aumentados por razonamiento provenientes de modelos maestros más grandes, se han centrado principalmente en entornos de solo texto o escenarios donde el modelo maestro ya es altamente competente. Este artículo aborda la brecha de aplicar la destilación de CoT a los VLM en entornos industriales de pocos disparos (few-shot) donde el propio maestro de vanguardia puede tener un desempeño deficiente (tan bajo como 24.1% de precisión).

Metodología

Los autores proponen la Destilación de CoT Condicionada por la Respuesta, un flujo de trabajo diseñado para adaptar rápidamente pequeños VLM (específicamente un modelo de 3B de parámetros) a nuevas tareas industriales utilizando entre 18 y 30 imágenes etiquetadas.

1. Generación de Razonamiento Condicionado por la Respuesta

A diferencia de la CoT estándar donde un modelo maestro clasifica una imagen y explica su predicción, este método asume que el modelo de vanguardia (GPT-4.1) ya conoce la etiqueta correcta ($y_i$) para una imagen de entrenamiento ($x_i$).

• Proceso: El modelo de vanguardia recibe la imagen y la etiqueta de verdad de campo (ground-truth) correspondiente. Se le solicita generar una explicación visual que justifique por qué esa etiqueta específica es correcta y por qué otras clases similares no aplican.
• Razonamiento Contrastivo: Las descripciones generadas contrastan explícitamente la clase objetivo con distractores visualmente similares (por ejemplo, distinguiendo "porosidad" de "falta de penetración" en radiografías de soldadura mediante la descripción de la forma y distribución).
• Racional: Al condicionar el proceso a la respuesta correcta, el sistema asegura que todo el razonamiento de entrenamiento se dirija hacia la conclusión correcta. Esto es crítico porque si se le pidiera al maestro clasificar primero, hasta el 76% del razonamiento generado podría ser incorrecto, contaminando los datos de entrenamiento.

2. Construcción de Datos y Entrenamiento

Para cada uno de los $N$ conjuntos de imágenes de entrenamiento etiquetadas, los autores construyen dos tipos de conjuntos de datos:

• LoRA Directo: $N$ pares de (Imagen + Prompt $\to$ JSON Etiqueta).
• LoRA Aumentado con CoT: $4N$ pares. Para cada imagen, se generan tres descripciones de CoT mediante el modelo de vanguardia, además de un par de etiqueta directa. Los pares de CoT consisten en la imagen, un prompt sin instrucciones JSON, el texto de razonamiento generado y la salida JSON correcta.

El pequeño VLM (Qwen2.5-VL-3B-Instruct) se ajusta finamente en estos conjuntos de datos utilizando LoRA (Adaptación de Bajo Rango). Solo los tokens de respuesta del asistente contribuyen a la pérdida; los prompts del usuario y los tokens de la imagen se enmascaran.

3. Ingeniería de Prompts

El estudio enfatiza que la calidad del prompt es primordial. El prompt de clasificación debe incluir definiciones de clase detalladas, descripciones visuales y características contrastivas que distingan las clases similares. Los experimentos mostraron que el uso de definiciones de clase más cortas durante el entrenamiento (manteniendo las definiciones completas para la evaluación) degradó la precisión en 18.1 puntos porcentuales, indicando que la generación de razonamiento depende fuertemente de la especificidad de las definiciones proporcionadas.

Contribuciones Clave

1. Aplicación a VLM Industriales: La primera aplicación de la destilación de CoT condicionada por la respuesta a los VLM para la clasificación industrial de pocos disparos, demostrando mejoras consistentes en cuatro tareas, tres modalidades de imagen y cuatro semillas aleatorias (16/16 victorias).
2. Aislamiento de la Calidad del Razonamiento: Un experimento controlado de presupuesto igual demuestra que las ganancias de rendimiento provienen de la calidad del razonamiento, no simplemente de un aumento en los pasos de entrenamiento o el volumen de datos.
3. Necesidad de la Condición de Respuesta: Los autores demuestran que sin la condición de la respuesta, la CoT no condicionada puede degradar el rendimiento hasta en 17.8 puntos porcentuales cuando el modelo maestro es impreciso.
4. Superioridad sobre Modelos de Vanguardia: Un modelo de 3B de parámetros, ajustado finamente con solo 24 imágenes, supera a GPT-4.1 y Gemini 2.5 Pro en tareas industriales especializadas, a pesar de que los modelos de vanguardia reciben imágenes de referencia en el momento de la inferencia.

Resultados Experimentales

El método fue validado en cuatro tareas que abarcan tres modalidades:

• Granulometría: Clasificación de agregados de concreto (9 clases, fotografía).
• Superficie de Acero: Clasificación de defectos (6 clases, fotografía).
• UHCS: Microestructura de acero (5 clases, microscopía).
• Defectos de Soldadura: Clasificación de radiografías (4 clases, rayos X).

Métricas de Desempeño:

• Consistencia: El enfoque de CoT-Aumentado superó al LoRA Directo en las 16 combinaciones de semilla-tarea.
• Mejora: Las mejoras medias oscilaron entre +1.7 y +4.4 puntos porcentuales sobre el LoRA Directo.
• Comparación con Modelos de Vanguardia:
  • Defectos de Soldadura: El modelo de 3B ajustado alcanzó un 75.0% de precisión, superando al de GPT-4.1 de pocos disparos (65.0%) por 10.0 puntos porcentuales.
  • Granulometría: El modelo de 3B logró un 77.8% frente al 29.6% de GPT-4.1 (+48.2pp).
  • Superficie de Acero: GPT-4.1 (91.1%) se mantuvo superior, probablemente debido a su capacidad de pocos disparos con imágenes de referencia.

Experimentos de Control:

• Presupuesto Igual: Entrenar el LoRA Directo con 4 veces más datos (imágenes duplicadas) para igualar el recuento de pasos de la CoT-Aumentada no produjo ganancias similares; de hecho, a menudo funcionó peor o igual, confirmando que la ganancia proviene de señales de razonamiento diversas, no solo de más pasos.
• Línea Base No Condicionada: Cuando el modelo maestro (Gemini 2.5 Pro) no recibió la respuesta correcta y generó razonamientos basados en sus propias predicciones (potencialmente erróneas), el rendimiento cayó significamente (ej. -17.8pp en Granulometría) en comparación con el LoRA Directo, validando el efecto de "contaminación" de un razonamiento incorrecto.

Significado y Reivindicaciones

El artículo sostiene que la Destilación de CoT Condicionada por la Respuesta es una solución viable y eficiente para desplegar pequeños VLM en las instalaciones para entornos industriales dinámicos. El método transforma la limitación de los conjuntos de datos pequeños en una oportunidad para la transferencia de razonamiento de alta calidad.

• Eficiencia: El flujo de trabajo completo (generación vía API + entrenamiento LoRA) toma menos de 2 horas en una sola GPU NVIDIA L4, permitiendo a los ingenieros de fábrica desplegar modelos adaptados al dominio en menos de un día.
• Robustez: Este enfoque es esencial para dominios donde los modelos de vanguardia carecen de pericia. Los autores argumentan que la condición de la respuesta no es opcional en estos entornos; sin ella, el proceso de destilación puede ser perjudicial.
• Practicidad: El estudio destaca que la ingeniería de prompts (específicamente las definiciones de clase detalladas) es integral para el éxito del método, ya que las definiciones débiles conducen a un razonamiento débil.

Los autores conclizan que este enfoque permite a los modelos pequeños superar a los modelos masivos de vanguardia en tareas especializadas cuando están limitados por datos etiquetados mínimos, siempre que el razonamiento esté condicionado a la verdad de campo.