Resumen Técnico: Marco Once-For-All (OFA) para el Ajuste de Instrucciones Multimodal

1. Declaración del Problema

El ajuste de instrucciones multimodal se ha convertido en el paradigma estándar para adaptar los Modelos Visión-Lenguaje (VLM) a tareas posteriores. Sin embargo, los conjuntos de datos de instrucciones a gran escala (por ejemplo, LLaVA-665K, Vision-Flan) suelen ser masivos, redundantes y, ocasionalmente, contienen muestras anotadas incorrectamente. Aunque existen métodos de selección de datos para mejorar la eficiencia del entrenamiento, los enfoques actuales sufren dos limitaciones críticas:

1. Costo Computacional: Los métodos basados en gradientes requieren el cálculo de gradientes por muestra sobre todo el conjunto de candidatos, lo cual es prohibitivamente costoso.
2. Falta de Reutilización: Los métodos basados en puntuación y los impulsados por complejidad están estrechamente acoplados al modelo objetivo específico o al conjunto de datos utilizado durante la generación de señales. En consecuencia, siempre que cambie la arquitectura del modelo objetivo o el conjunto de datos candidato, los criterios de selección deben volver a calcularse desde cero, a menudo a un costo comparable al del propio entrenamiento.

Esto crea un cuello de botella donde la selección de datos resulta impráctica en entornos dinámicos del mundo real donde los conjuntos de datos y los modelos cambian con frecuencia.

2. Metodología: El Marco Once-For-All (OFA)

OFA propone un marco de "entrenar una vez, seleccionar en cualquier momento" que desacopla el proceso de selección de datos del VLM objetivo. La idea central es que un selector reutilizable puede entrenarse en un espacio de representaciones congelado para identificar muestras informativas basándose en su dificultad o ambigüedad inherente, independientemente del modelo que se esté afinando.

El marco opera en tres etapas principales:

A. Representación y Agrupación Multimodal

• Codificación Congelada: Todos los pares imagen-instrucción se codifican utilizando un modelo CLIP congelado (ViT-B/32). La imagen y el texto se codifican por separado y se concatenan para formar un vector de características multimodal conjunto, que luego se normaliza mediante $\ell_2$.
• Agrupación: Se aplica el agrupamiento K-Means a estas características congeladas para dividir los datos en $K$ grupos semánticos. Esto expone la estructura semántica subyacente del conjunto de datos sin involucrar ningún VLM objetivo.

B. Etiquetado Pseudo y Entrenamiento del Selector Basado en Grupos

• Construcción del Conjunto Central: Se forma un "conjunto central" ($D_{core}$) seleccionando muestras dentro de un radio específico ($\gamma$) de sus centroides de grupo. A estas muestras se les asignan etiquetas pseudo correspondientes a sus índices de grupo.
• Selector Ligero: Una red neuronal ligera (el selector) se entrena en $D_{core}$ para predecir las etiquetas pseudo de los grupos. Crucialmente, este selector se entrena solo durante pocas épocas (por ejemplo, 3) y se detiene deliberadamente antes de la convergencia.
• La Señal: Los autores hipotetizan que un selector parcialmente entrenado se volverá rápidamente confiable en muestras "típicas" (redundantes/fáciles) pero permanecerá incierto en muestras "atípicas" (informativas/difíciles).

C. Selección de Baja Confianza

• Puntuación: El selector entrenado se congela y se aplica a todo el conjunto de datos candidato. Para cada muestra, el selector genera una puntuación de confianza definida como la probabilidad máxima de clase ($F(x_i) = \max_c p_{i,c}$).
• Filtrado: Las muestras con baja confianza (por debajo de un umbral por grupo $\tau_k$) se retienen como el subconjunto informativo, mientras que las muestras de alta confianza (redundantes) se descartan.
• Transferibilidad: Dado que el selector depende exclusivamente de la representación CLIP congelada y no de los gradientes o parámetros del VLM objetivo, el mismo selector congelado puede aplicarse a:
  1. Conjuntos de Datos No Vistos: Conjuntos de datos que no estaban presentes durante el entrenamiento del selector.
  2. Arquitecturas No Vistas: Modelos objetivo de diferentes escalas y arquitecturas.

3. Contribuciones Clave

1. Marco OFA: Un marco de selección de datos que entrena un selector reutilizable una vez en un espacio de representaciones congelado, eliminando la necesidad de recálculo cuando cambian los conjuntos de datos o los modelos objetivo.
2. Señal Transferible: Identificación de la baja confianza del selector en representaciones CLIP congeladas como una señal generalizable para la informatividad de las muestras. Esta señal depende únicamente de la distribución de los datos, no del modelo objetivo.
3. Validación Empírica: Demostración de que un único subconjunto seleccionado, derivado de un conjunto de datos (LLaVA-665K), ajusta eficazmente tanto el conjunto de datos de origen como conjuntos de datos no vistos (Vision-Flan-186K) y diferentes arquitecturas (Qwen2.5-VL-3B, LLaVA-v1.5-7B) sin necesidad de re-selección.

4. Resultados Experimentales

Los experimentos se realizaron en LLaVA-665K y Vision-Flan-186K, afinando VLMs con el 15% de los datos en comparación con las líneas base de datos completos.

• Rendimiento en el Conjunto de Datos de Origen (LLaVA-665K):

  • OFA alcanzó el 98.3% del rendimiento de datos completos en 10 puntos de referencia, superando a líneas base de última generación como PreSel, CoIDO y XMAS.
  • Cabe destacar que OFA superó al modelo de datos completos en los puntos de referencia de alucinaciones (POPE: 87.5 vs. 86.4), lo que sugiere que las muestras de baja confianza seleccionadas suprimen eficazmente las alucinaciones.

• Transferencia entre Conjuntos de Datos (Vision-Flan-186K):

  • Un selector entrenado solo en LLaVA-665K se aplicó directamente a Vision-Flan-186K sin reentrenamiento.
  • OFA alcanzó un 110.6% de rendimiento relativo en comparación con el entrenamiento con datos completos en Vision-Flan, superando a todas las líneas base y al propio modelo de datos completos. Esto indica la presencia de ruido/redundancia significativa en Vision-Flan que OFA filtró con éxito.

• Transferencia entre Arquitecturas:

  • Un subconjunto seleccionado de LLaVA-665K se utilizó para afinar Qwen2.5-VL-3B, un modelo estructuralmente diferente.
  • OFA alcanzó un 102.1% de rendimiento relativo, superando tanto a la selección aleatoria como al entrenamiento con datos completos para esta arquitectura.

• Eficiencia:

  • OFA redujo significativamente el costo computacional total. Mientras que el ajuste fino completo requirió 76.0 horas de GPU, OFA (incluyendo selección y ajuste fino) requirió solo 20.0 horas de GPU.
  • El proceso de selección en sí mismo tomó solo 9.0 horas de GPU, significativamente más rápido que métodos como Self-Filter (73.5 horas de GPU) y COINCIDE (55.5 horas de GPU).

5. Significado y Afirmaciones

El artículo afirma que OFA aborda una limitación práctica fundamental en el ajuste de instrucciones multimodal: la no reutilizabilidad de las señales actuales de selección de datos. Al desacoplar el proceso de selección del modelo objetivo, OFA proporciona una solución única y reutilizable que es efectiva en diversos conjuntos de datos y arquitecturas de modelos.

Los autores enfatizan que la señal de "baja confianza" derivada de un selector deliberadamente subentrenado en características CLIP congeladas se generaliza a distribuciones de datos y arquitecturas nunca vistas durante el entrenamiento. Este enfoque "Once-For-All" transforma la selección de datos de un cálculo costoso por tarea en una inversión única, permitiendo un entrenamiento eficiente y robusto de VLMs en entornos con recursos limitados o dinámicos.