🤖 machine learning

The Importance of Encoder Choice:A Tabular-Image Study

Este estudio evalúa modelos tabulares de vanguardia como codificadores en el aprendizaje multimodal imagen-tabla por primera vez, abordando el desafío de aplicar métodos de aprendizaje en contexto sin acceso a las etiquetas de prueba para demostrar la importancia crítica de la selección del codificador.

Autores originales: Ilia Koloiarov, Diego Coello de Portugal Mecke, Vijaya Krishna Yalavarthi, Tom Hanika, Lars Schmidt-Thieme

Publicado 2026-07-10

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ilia Koloiarov, Diego Coello de Portugal Mecke, Vijaya Krishna Yalavarthi, Tom Hanika, Lars Schmidt-Thieme

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando construir el "bot detective" definitivo para resolver misterios. Este bot necesita observar dos tipos de pistas: una foto de la escena y una hoja de cálculo de hechos (como la temperatura, la hora o nombres). Para que este bot sea inteligente, necesitas un "traductor" especial para cada tipo de pista que convierta la información a un lenguaje que el bot entienda.

Para las fotos, tenemos traductores asombrosos (como los famosos modelos ViT). Pero, ¿y para las hojas de cálculo? Durante años, los científicos han estado utilizando un traductor muy simple y básico llamado MLP (una red neuronal plana y superficial). Es como usar una bicicleta para entregar una pizza cuando tienes una flota de coches deportivos disponibles. El artículo argumenta que esto es un error enorme porque la bicicleta podría ser la razón por la cual la pizza llega fría, no la ruta de entrega en sí.

El gran descubrimiento: El "traductor" importa más de lo que crees

Los autores de este estudio decidieron probar esta teoría. Cambiaron la aburrida bicicleta (el MLP simple) por algunos de los "coches deportivos" más avanzados y de última generación disponibles para las hojas de cálculo. Estos nuevos traductores se llaman Modelos de Fundamentos Tabulares de Aprendizaje en Contexto (un nombre complicado, así que llamémoslos Súper-Traductores ICL).

Aquí está el giro que encontraron: el ranking de qué bot detective es el "mejor" cambia completamente dependiendo de qué traductor utilices.

Si pruebas tu bot con un traductor débil, un método de detective elegante y complejo puede parecer un genio. Pero si cambias a un traductor fuerte, ese mismo método elegante puede parecer promedio, mientras que un método simple y aburrido de repente parece un superhéroe. El artículo sugiere que durante años, podríamos haber estado alabando los métodos equivocados simplemente porque estábamos usando malos traductores.

El problema del "fantasma en la máquina"

Hubo un obstáculo importante con estos nuevos Súper-Traductores ICL. Estos modelos funcionan observando un "contexto" (una lista de ejemplos resueltos con respuestas) para adivinar la respuesta para una nueva "consulta" (un misterio sin respuesta).

Los autores descubrieron un fallo espeluznante: el modelo ve la misma pieza de información de forma diferente dependiendo de si está en el "contexto" o en la "consulta".

Imagina que estás describiendo tu película favorita a un amigo.

Modo Contexto: Estás describiéndola después de haber visto el final. Conoces los giros de la trama.
Modo Consulta: Estás describiéndola antes de haber visto el final. Estás adivinando qué sucede después.

Aunque sea la misma película, tu descripción (el "embedding") es totalmente diferente porque tu estado de conocimiento es distinto. El artículo encontró que cuando estos modelos ponen los datos de entrenamiento en el rol de "contexto" y los datos de prueba en el rol de "consulta", terminan en vecindarios diferentes en la memoria de la computadora. Es como intentar emparejar un mapa de Nueva York con un mapa de Londres porque el modelo se confundió sobre qué ciudad estaba mirando.

Lo que el artículo descarta:
Los autores probaron explícitamente y descartaron la idea de que esta diferencia se debía simplemente a que los datos eran diferentes. Demostraron que incluso cuando se utilizaba el mismo punto de datos exacto en ambos roles, el modelo los trataba de forma diferente. Es un fallo estructural en cómo funcionan estos modelos, no un problema de datos.

La trampa "Vanilla"

Debido a este fallo, los autores probaron tres formas de alimentar los datos a estos modelos:

Vanilla (La forma "Ingenua"): Simplemente alimentar los datos de entrenamiento como contexto y los datos de prueba como consultas.
LOFO (Leave-One-Fold-Out): Una forma compleja de barajar los datos para que todo tenga su turno de ser una consulta.
NP (No Particionado): Un truco inteligente donde el modelo ve los datos de entrenamiento como contexto y consulta al mismo tiempo.

El Veredicto: La forma "Vanilla" es un desastre. El artículo muestra que usar el método ingenuo consistentemente hace que el bot rinda peor. Es como intentar conducir un coche deportivo con el freno de mano puesto. Los autores sugieren encarecidamente evitar este método por completo. En su lugar, el método NP (No particionado) es la "llave" recomendada para desbloquear todo el poder de estos modelos.

¿Necesitamos una fusión sofisticada?

Durante mucho tiempo, los investigadores pensaron que necesitaban sistemas increíblemente complejos y costosos para combinar fotos y hojas de cálculo. Estos sistemas a menudo tienen millones de parámetros y requieren un pre-entrenamiento especial.

El artículo encontró algo sorprendente: en conjuntos de datos donde tanto las fotos como las hojas de cálculo son útiles, un sistema de "fusión bilineal" simple (un truco matemático básico) junto con un traductor fuerte funciona tan bien como los sistemas súper complejos.

De hecho, los sistemas complejos y sofisticados utilizados tienen, en promedio, 13.2 veces más parámetros que la línea base simple. Los autores sugieren que si usas un traductor lo suficientemente fuerte, no necesitas los métodos de fusión sobre-diseñados y costosos. El enfoque simple es igual de bueno y mucho más barato.

La advertencia de "Una Sola Modalidad"

El artículo también advierte sobre los conjuntos de datos donde un tipo de pista es inútil.

Si tienes un conjunto de datos donde la hoja de cálculo es solo ruido (como el conjunto de datos CCD), añadir la hoja de cálculo a la foto en realidad perjudica el rendimiento del bot.
Si la foto es inútil (como en Petfinder, donde la hoja de cálculo es la reina), añadir la foto perjudica.

Los autores encontraron que el módulo de fusión no aprende mágicamente a "ignorar" la pista inútil. En cambio, se confunde y rinde peor que si solo hubieras usado la pista buena. Esto sugiere que combinar datos ciegamente no siempre es la respuesta; a veces, solo necesitas elegir la pista correcta.

¿Qué tan seguros estamos?

Los autores no solo conjeturaron; realizaron experimentos extensos a través de siete conjuntos de datos del mundo real (que van desde imágenes médicas de la piel hasta subastas de arte y anuncios de coches).

Midieron el rendimiento utilizando puntuaciones F1 (una medida estándar de precisión).
Utilizaron herramientas estadísticas (como la regresión OLS y la correlación de Spearman) para demostrar que el "incremento" (lift) al combinar datos disminuye a medida que el traductor mejora.
Confirmaron el "desplazamiento contexto-consulta" utilizando MMD (Discrepancia de la Media Máxima), una forma matemática de medir qué tan alejados están dos grupos de datos.

El artículo concluye que la elección del traductor es un "confundido crítico" (critical confound). Esto significa que si no eliges el traductor adecuado, todo tu experimento podría ser engañoso. Los hallazgos se basan en datos medidos, no solo en simulaciones, y los autores están seguros de que el método de extracción "Vanilla" debe evitarse y que el método "NP" es el camino a seguir para la mayoría de los casos.

Así que, la próxima vez que construyas un bot detective, recuerda: No te limites a enfocarte en el detective; asegúrate de que tu traductor no lleve una venda en los ojos.

Resumen Técnico: La Importancia de la Elección del Codificador: Un Estudio de Imagen-Tabular

Declaración del Problema

El aprendizaje multimodal requiere típicamente un codificador dedicado para cada modalidad. Si bien los codificadores de imagen y texto han evolucionado significamente, la modalidad tabular en entornos multimodales ha dependido en gran medida de Perceptrones Multicapa (MLP) simples y superficiales. Los autores argumentan que esta dependencia persiste porque el dominio tabular careció históricamente de candidatos sólidos de aprendizaje profundo; los Árboles de Decisión Potenciados por Gradiente (GBDT) han dominado los referentes tabulares, pero no producen representaciones continuas compatibles con los procesos multimodales.

Los avances recientes en los Modelos Fundacionales Tabulares de Aprendizaje en Contexto (ICL TFMs) ofrecen codificadores tabulares potentes y listos para usar sin necesidad de reentrenamiento específico para la tarea. Sin embargo, surge un obstáculo crítico al utilizar estos modelos: el desplazamiento de representación contexto-consulta (context-query representation shift). En los ICL TFMs, las instancias de entrenamiento se procesan como "contexto" (con etiquetas visibles), mientras que las instancias de prueba se procesan como "consultas" (sin etiquetas). Un trabajo previo (Ye et al., 2025) observó que esto causa que los embeddings de una misma instancia ocupen regiones diferentes en el espacio latente, dependiendo de su rol, lo que viola el supuesto de que los datos son independientes e idénticamente distribuidos (i.i.d.) requerido para los modelos descendentes. Anteriormente se desconocía si este desplazamiento afectaba a otros modelos ICL y cómo impactaba en el rendimiento de la fusión multimodal.

Metodología

El estudio realiza una evaluación sistemática de los codificadores tabulares en un entorno de clasificación de imagen-tabular.

Configuración Experimental:

Codificadores: Los autores evalúan tres clases de codificadores tabulares:
- ICL TFMs: TabPFNv2, TabDPT y TabICLv2.
- Modelos Fundacionales No-ICL: TARTE.
- Líneas Base (Baselines): TabM (preentrenado desde cero), TabM-SSL (auto-supervisado) y TabVec (preprocesamiento no aprendido).
Esquemas de Extracción de Características: Para los modelos ICL, se prueban tres métodos de extracción para abordar el desplazamiento contexto-consulta:
1. Vanilla ( $\star$ ): Instancias de entrenamiento codificadas como contexto.
2. Leave-one-fold-out ( $\dagger$ ): Instancias de entrenamiento codificadas como consultas contra el complemento de la partición (fold).
3. No particionado ( $\wr$ ): Todas las instancias de entrenamiento pasan simultáneamente como contexto y consultas, extrayendo las representaciones en su rol de consulta.
Fusión Multimodal: Se utiliza un módulo de fusión bilineal simple como el método multimodal principal, comparado contra un método de vanguardia cuidadosamente diseñado (TIP) y líneas base unimodales.
Conjuntos de Datos: Siete conjuntos de datos de imagen-tabular del mundo real que abarcan imágenes médicas, arte, vehículos y mascotas (ej. DVM, HAM10000, WikiArt, Petfinder).
Métricas:
- Rango Percentil Relativo (RPR): Mide el rendimiento relativo frente a una línea base de solo imagen.
- Desplazamiento de Distribución Excesivo (EDS): Cuantifica la brecha de distribución entre los embeddings de entrenamiento y prueba utilizando la Discrepancia de Media Máxima (MMD), restando la variación intrínseca de los datos.

Contribuciones Clave y Hallazgos

1. La elección del codificador dicta las clasificaciones multimodales

El rendimiento multimodal no es estable a través de diferentes codificadores tabulares. Un método multimodal cuidadosamente diseñado (TIP) puede superar a un método base simple con un codificador débil, pero puede ser igualado o superado por ese mismo método base cuando se combina con un codificador fuerte. Las conclusiones extraídas de un solo codificador no son generalizables.

2. La fusión puede degradar el rendimiento en conjuntos de datos dominados por una modalidad

En conjuntos de datos donde una modalidad porta la mayor parte de la señal predictiva (por ejemplo, dominados por imagen o dominados por tablas), la combinación de modalidades puede degradar el rendimiento por debajo de la línea base unimodal. Esto sugiere que los módulos de fusión no aprenden automáticamente a suprimir las modalidades que no aportan información.

3. La calidad del codificador infla las ventajas observadas de la fusión

En conjuntos de datos probablemente multimodales, la mejora de rendimiento observada de la fusión es inversamente proporcional a la calidad del codificador. A medida que el codificador tabular mejora, la ganancia marginal de la fusión disminuye. Esto implica que los codificadores débiles pueden inflar artificialmente el beneficio percibido de la fusión multimodal al compensar las pobres representaciones unimodales.

4. Las líneas base simples igualan a los métodos complejos con codificadores fuertes

En conjuntos de datos probablemente multimodales, una línea base de fusión bilineal simple emparejada con un codificador fuerte (ej. TabPFN con extracción no particionada) rinde a la par de TIP, un método complejo que requiere 13.2 veces más parámetros y una etapa de preentrenamiento dedicada.

5. El desplazamiento contexto-consulta es universal en los ICL TFMs

El desplazamiento de representación no es exclusivo de TabPFNv2; también se observa en TabDPT y TabICLv2.

La extracción Vanilla ( $\star$ ) degrada consistentemente el rendimiento en los tres modelos ICL y debe evitarse.
La extracción No particionada ( $\wr$ ) es el esquema recomendado para la mayoría de los casos, mitigando eficazmente el desplazamiento y superando a la extracción Leave-one-fold-out ( $\dagger$ ).

Significancia

El artículo argumenta que la elección del codificador tabular es un factor de confusión crítico y a menudo pasado por alto en el aprendizaje multimodal. El estudio destaca que:

Estabilidad de los Benchmarks: Las conclusiones sobre la eficacia de la fusión multimodal son inestables si el codificador tabular no se selecciona cuidadosamente o si se ignora el desplazamiento de representación de su codificador.
Eficiencia Práctica: Los codificadores tabulares fuertes y preentrenados pueden permitir que arquitecturas de fusión simples igualen el rendimiento de procesos complejos y diseñados, reduando la necesidad de conteos masivos de parámetros y etapas de preentrenamiento.
Corrección Metodológica: El estudio proporciona evidencia empírica de que el método de extracción "Vanilla" para modelos ICL es perjudicial y establece la extracción No particionada como una alternativa robusta para la integración multimodal.

Los autores concluyen que la investigación multimodal futura debe tener en cuenta la calidad del codificador y los desplazamientos de representación para evaluar con precisión el verdadero valor de la combinación de modalidades.