Resumen Técnico: TFM-Retouche

Planteamiento del Problema

Los Modelos Fundacionales Tabulares (TFM), como TabPFN-2.6 y TabICLv2, han demostrado un rendimiento sólido en situaciones de cero disparos (zero-shot) mediante el Aprendizaje en Contexto (ICL), aprovechando sesgos inductivos transferibles aprendidos durante un preentrenamiento sintético. Sin embargo, estos modelos poseen sesgos inductivos fijos en el momento de la inferencia. Adaptarlos a conjuntos de datos específicos de tareas posteriores generalmente requiere un ajuste fino completo, lo cual es computacionalmente prohibitivo, o métodos de Ajuste Fino Eficiente en Parámetros (PEFT) como LoRA. Los enfoques PEFT suelen ser específicos de la arquitectura, requiriendo la inserción manual de módulos entrenables en el núcleo, y la evidencia empírica reciente sugiere que la adaptación en el espacio de pesos puede, a veces, degradar la precisión o la calibración al erosionar los priores sintéticos frágiles codificados en los pesos preentrenados. Además, los métodos existentes de adaptación en el espacio de entrada (por ejemplo, BETA) a menudo dependen de cuellos de botella de ancho fijo diseñados para modelos anteriores con capacidad limitada, los cuales podrían no alinearse con las necesidades de alineación de los TFM modernos de alta capacidad.

Metodología

Los autores proponen TFM-Retouche, un adaptador residual en el espacio de entrada, ligero y agnóstico a la arquitectura, diseñado para alinear núcleos de TFM congelados con tareas posteriores específicas sin modificar los pesos preentrenados.

Arquitectura Central

El marco introduce un adaptador residual con puerta, $g_\phi(x)$, aplicado a las características de entrada $x$ antes de que estas ingresen al TFM congelado $f_\theta$:
$$g_\phi(x) = (1 - \alpha) \odot x + \alpha \odot \delta(x)$$
Donde:

• $\alpha$: Un parámetro de puerta entrenable (ya sea un escalar o un vector por canal) que controla la intensidad de la intervención. Se inicializa en un valor pequeño (0.02) para asegurar que el adaptador comience cerca de la función identidad.
• $\delta(x)$: Una transformación de bloque interno entrenable que mapea $R^d \to R^d$. Los autores implementan dos variantes:
  1. Bloque Cruzado (DCNv2): Una red cruzada que modela explícitamente interacciones multiplicativas de características ancladas a la entrada original.
  2. Bloque MLP Residual: Un MLP de cuello de botella residual estándar.
• Preservación de Dimensiones: A diferencia de los codificadores anteriores que comprimen las entradas, TFM-Retouche preserva la dimensionalidad de entrada, actuando como un "empujón" en lugar de un reemplazo.

Entrenamiento y Mecanismos de Seguridad

• Entrenamiento de Extremo a Extremo: Los parámetros del adaptador se entrenan mediante retropropagación a través del núcleo congelado del TFM. Los pesos del núcleo permanecen completamente sin cambios.
• Guardia de Identidad: Para mitigar el riesgo de que la adaptación degrade el rendimiento, se emplea una guardia de identidad post-entrenamiento. Durante la inferencia, el sistema evalúa el rendimiento del adaptador en un conjunto de validación retenido. Si el adaptador no mejora el rendimiento de la línea base por una pequeña tolerancia (0.5% por defecto), el sistema omite el adaptador por completo, recurriendo al TFM sin modificar. Esto asegura que la adaptación sea estrictamente optativa por conjunto de datos.

Contribuciones Clave

1. Marco TFM-Retouche: Un adaptador en el espacio de entrada novedoso y que preserva dimensiones, agnóstico a la arquitectura del núcleo TFM. Soporta tanto clasificación como regresión y puede instanciarse con bloques internos modulares (DCNv2 o MLP).
2. Estrategia de Entrenamiento con Guardia de Identidad: Un método para entrenar adaptadores de extremo a extremo a través de TFM congelados, acoplado con un mecanismo de seguridad que previene la degradación del rendimiento al revertir a la línea base de cero disparos cuando la adaptación no es útil.
3. Evaluación Exhaustiva: El marco fue instanciado en TabICLv2 (denominado TabICLv2-Retouche) y evaluado en TabArena-Lite, una referencia que comprende 51 conjuntos de datos a través de clasificación binaria, clasificación multiclase y regresión.
4. Lanzamiento de Código Abierto: Los autores se comprometen a lanzar el marco como una biblioteca de código abierto.

Resultados Experimentales

La evaluación se llevó a cabo en la tabla de clasificación de TabArena-Lite (51 conjuntos de datos). Los hallazgos clave incluyen:

• Rendimiento: TabICLv2-Retouche (variante T+E, ajustada y ensamblada) alcanzó el primer puesto (Elo 1651) en la tabla de clasificación, superando a la base TabICLv2 congelada (+56 Elo) y a otros métodos de última generación como TabPFN-2.6 y RealTabPFN-2.5.
• Eficiencia: El método logró este rendimiento con un presupuesto de optimización de hiperparámetros (HPO) significativamente menor (10 configuraciones aleatorias frente a las 200 estándar utilizadas por otros pares ajustados).
• Compensaciones Computacionales:
  • Tiempo de Entrenamiento: TabICLv2-Retouche (T+E) se sitúa en la frontera de Pareto para el tiempo de entrenamiento versus calidad, dominando a otros métodos ajustados y ensamblados (por ejemplo, RealMLP, RealTabPFN-2.5) que requieren significativamente más tiempo de entrenamiento.
  • Tiempo de Inferencia: Se mantiene en la frontera de Pareto del tiempo de inferencia, ofreciendo predicciones de alta calidad con una latencia de inferencia moderada en comparación con los modelos de cero disparos más rápidos.
• Estudios de Ablación:
  • La Guardia de Identidad fue identificada como el componente más crítico; su eliminación provocó que el adaptador entrenado funcionara peor que la base sin modificar en promedio.
  • La adaptación en el espacio de pesos (LoRA y SFT completo) aplicada al núcleo congelado de TabICLv2 no logró mejorar el rendimiento sobre la línea base de cero disparos en este escenario, mientras que el empujón residual en el espacio de entrada tuvo éxito.
  • Los codificadores estilo BETA (cuellos de botella de ancho fijo) funcionaron mal en TabICLv2, confirmando que el cuello de botella para los TFM modernos es la alineación, no la capacidad.

Significado y Afirmaciones

El artículo posiciona a TFM-Retouche no como un reemplazo de los flujos de trabajo de TFM de cero disparos, sino como un mecanismo de refinamiento de bajo riesgo y etapa tardía.

• Alineación sobre Capacidad: El trabajo argumenta que para los TFM modernos de alta capacidad, el desafío principal es alinear el prior sintético genérico con estructuras de tareas específicas, en lugar de comprimir la capacidad de entrada.
• Seguridad y Modularidad: Al dejar el núcleo congelado y utilizar una guardia de identidad, el marco permite a los profesionales capturar ganancias marginales predictivas sin el riesgo de desestabilizar el modelo o comprometerse con una arquitectura de núcleo específica.
• Practicidad: El método requiere recursos computacionales mínimos (entrenando solo 102–105 parámetros por conjunto de datos) y es compatible con pipelines existentes de cero disparos, convirtiéndolo en una herramienta práctica para mejorar el rendimiento una vez que las decisiones de datos aguas arriba se han estabilizado.

Los autores concluyen que la adaptación en el espacio de entrada puede ofrecer calidad de última generación sin sacrificar la eficiencia, siempre que la adaptación sea ligera, cercana a la identidad y protegida contra la degradación del rendimiento.