Resumen Técnico: CoMET - Clasificación Multimodal Modular Sin Ajuste Fino

Enunciado del Problema

Las tareas de clasificación multimodal suelen requerir pipelines complejos de entrenamiento de extremo a extremo que implican el ajuste fino de grandes modelos fundacionales sobre conjuntos de datos específicos. Este enfoque es computacionalmente costoso, consume mucho tiempo y a menudo exige un ajuste de hiperparámetros específico del conjunto de datos. Aunque los Modelos Fundacionales Tabulares (TFM) han demostrado recientemente su capacidad para realizar tareas predictivas sólidas mediante aprendizaje en contexto sin ajuste fino, su aplicación se ha visto largely restringida a datos tabulares o ha requerido ajuste fino al aplicarse en entornos multimodales. El desafío central abordado por este artículo es cómo aprovechar la naturaleza "lista para usar" de los TFM para la clasificación multimodal (combinando texto, imágenes y datos tabulares) sin ningún entrenamiento específico de la tarea ni retropropagación, superando al mismo tiempo la discrepancia entre los codificadores de modalidad estándar (que a menudo generan tokens de tamaño fijo como CLS) y los requisitos de entrada del TFM.

Metodología: CoMET

Los autores proponen CoMET (Composición de Codificadores de Modalidad con Modelos Fundacionales Tabulares), un pipeline modular que compone backbones preentrenados congelados con un TFM. El método opera en cuatro pasos distintos:

1. Extracción de Características: Cada modalidad no tabular (por ejemplo, imagen, texto) se pasa a través de un backbone preentrenado y congelado (por ejemplo, DINOv3 para imágenes, ELECTRA para texto) para extraer incrustaciones a nivel de token por muestra.
2. Agrupación (Pooling): Las incrustaciones de los tokens se agregan en representaciones vectoriales de tamaño fijo. El artículo introduce PALPooling (Agrupación de Etiquetas de Pseudo Atención) como una alternativa ligera y adaptativa a los tokens CLS estándar o al agrupamiento por media.
   • Mecanismo de PALPooling: En lugar de retropropagación, PALPooling ajusta un vector de puntuación lineal mediante regresión de crestas. Utiliza "Etiquetas de Pseudo Atención" (PALs) derivadas de las propias distribuciones de etiquetas predichas por el TFM. Específicamente, divide los datos de entrenamiento en un conjunto de soporte y un conjunto de consulta. El TFM predice sobre el conjunto de consulta, y una función de puntuación (basada en la Divergencia de Jensen-Shannon entre las predicciones y las frecuencias de etiquetas previas) genera objetivos para un modelo de regresión de crestas. Este modelo aprende a ponderar los tokens para maximizar el desplazamiento desde la distribución previa, identificando efectivamente tokens informativos sin descenso de gradiente a través del TFM.
3. Reducción de Dimensionalidad (PCA): Las incrustaciones agrupadas se comprimen utilizando Análisis de Componentes Principales (PCA). Los autores demuestran que PCA no es meramente una herramienta de compresión, sino un adaptador crucial que alinea la geometría de las incrustaciones del codificador congelado con el prior de preentrenamiento del TFM (que es sintético y de rango alto).
4. Predicción: Las características multimodales comprimidas y concatenadas (tabulares + no tabulares proyectadas) se introducen en el TFM (específicamente TabICLv2) junto con un conjunto de soporte de ejemplos etiquetados. El TFM realiza aprendizaje en contexto para predecir la distribución de etiquetas para la muestra de consulta.

Contribuciones Clave

1. PCA como Adaptador Suficiente: El artículo demuestra que aplicar PCA a las incrustaciones de backbones congelados es suficiente para hacer que los TFM sean clasificadores multimodales competitivos. Esta proyección mejora significativamente el rendimiento al aumentar el rango efectivo de las incrustaciones, alineándolas con la distribución de preentrenamiento sintética del TFM y equilibrando las señales entre características tabulares y no tabulares.
2. Marco CoMET: Un marco modular y fácil de implementar que logra resultados de última generación (SOTA) en diversos benchmarks multimodales sin ningún ajuste fino. Los componentes (codificadores, TFM) pueden intercambiarse independientemente.
3. PALPooling: Un método de agrupación adaptativo novedoso y sin entrenamiento. Evita la necesidad de retropropagación a través del TFM utilizando pseudoetiquetas derivadas de las propias salidas del modelo. Supera consistentemente a los tokens CLS y al agrupamiento por media, particularmente en escenarios donde los tokens CLS no logran capturar características relevantes para la tarea (por ejemplo, imágenes con múltiples objetos).
4. Clasificación Jerárquica Escalable: Los autores muestran la aplicación de CoMET a la clasificación jerárquica (H-CoMET). Al descomponer problemas de clasificación grandes (por ejemplo, >500k muestras, >2,000 clases) en subtareas más pequeñas dentro de una estructura de árbol, el método permite una inferencia rápida y escalable sin entrenar modelos separados para cada subtarea.

Resultados

El artículo evalúa CoMET en benchmarks unimodales y multimodales:

• Rendimiento Unimodal: En conjuntos de datos de imágenes y texto, CoMET con PCA y PALPooling iguala o supera el rendimiento de la sonda lineal y los perceptrones multicapa (MLP), a menudo superándolos significativamente (por ejemplo, +3.4% a +6.2% en subconjuntos de ImageNet).
• Benchmarks Multimodales: CoMET logra resultados competitivos o SOTA en conjuntos de datos que combinan texto, imágenes y datos tabulares (por ejemplo, Jigsaw Toxicity, PetFinder, MM-IMDb, Airbnb). Supera a enfoques anteriores de TFM multimodal como MMPFN, que requerían ajuste fino con proyectores específicos de modalidad.
• Escalabilidad Jerárquica: En conjuntos de datos jerárquicos a gran escala como iNaturalist (2,896 clases) y Amazon MM, H-CoMET logra una alta precisión (82.50% en iNaturalist) con tiempos de inferencia inferiores a 6 minutos, superando significativamente a los clasificadores planos e igualando o superando a los modelos de texto jerárquicos SOTA.
• Eficiencia: El método no requiere tiempo de entrenamiento para el TFM ni para los codificadores. El ajuste de PALPooling toma segundos (por ejemplo, de 16s a 54s para conjuntos de datos de imágenes).

Significado y Afirmaciones

El artículo argumenta que la composición de modelos fundacionales ofrece una solución simple, potente y "lista para usar" para el aprendizaje multimodal. Su significado principal radica en desafiar la necesidad de pipelines complejos de entrenamiento de extremo a extremo para nuevos problemas.

• Modularidad: El enfoque permite el reemplazo independiente de backbones o TFM a medida que mejoran, heredando el progreso futuro sin reentrenamiento.
• Eficiencia sin Entrenamiento: Demuestra que se puede lograr un rendimiento predictivo sólido amortizando la inferencia bayesiana mediante aprendizaje en contexto, incluso para datos no tabulares, siempre que las incrustaciones se adapten adecuadamente (mediante PCA) y se agrupen (mediante PALPooling).
• Escalabilidad: El método permite manejar conjuntos de datos masivos y espacios de clases finas (miles de clases) que a menudo son intratables para los enfoques tradicionales de ajuste fino debido a restricciones computacionales.

Los autores mantienen una postura modesta, reconociendo que, aunque PCA es un adaptador simple, métodos de reducción de dimensionalidad más sofisticados informados por TFM podrían generar ganancias adicionales. También señalan que el trabajo actual se centra en las modalidades de texto e imagen, pero la plantilla es generalizable a otros dominios con codificadores listos para usar (por ejemplo, audio, video).