Resumen Técnico: LUCoS (Selección de Contexto No Supervisada Latente)

Enunciado del Problema

En el aprendizaje tabular con pocas etiquetas, seleccionar qué instancias etiquetar es un desafío crítico. Los Modelos Fundacionales Tabulares (TFM) recientes, como TabPFN, dependen del Aprendizaje en Contexto (ICL), donde el rendimiento predictivo es altamente sensible a las instancias etiquetadas específicas elegidas como el "conjunto de contexto". Si bien los experimentos con oráculos supervisados demuestran que los conjuntos de contexto seleccionados cuidadosamente pueden superar significativamente a la selección aleatoria bajo el mismo presupuesto de etiquetado, el escenario de arranque en frío—donde las instancias deben seleccionarse antes de que esté disponible cualquier etiqueta—permanece en gran medida sin abordar en la literatura de TFM.

Los métodos actuales de selección de instancias no supervisada suelen operar en el espacio de características tabulares original. Sin embargo, los datos tabulares carecen de una métrica natural debido a los tipos de características heterogéneos, las escalas mixtas, la dispersión y las interacciones no lineales. En consecuencia, las distancias geométricas en el espacio crudo a menudo son poco fiables para la similitud predictiva, lo que provoca que los métodos de selección se comporten de manera inconsistente o incluso peor que el muestreo aleatorio a medida que aumenta el presupuesto de etiquetado.

Metodología: LUCoS

Los autores proponen LUCoS (Selección de Contexto No Supervisada Latente), una tubería de cuatro etapas diseñada para realizar la selección de instancias sin acceso a etiquetas. La hipótesis central es que reemplazar la geometría poco fiable del espacio de características original con una geometría latente significativa inducida por un TFM no supervisado permite que los métodos de selección geométrica simples identifiquen conjuntos de contexto informativos.

El marco consta de dos componentes principales:

1. Mapa de Representación ($\phi$): Las instancias de entrenamiento sin etiquetar se incrustan en un espacio latente de alta dimensión utilizando el codificador de una Red Ajustada a Priori (PFN) no supervisada. Específicamente, los autores utilizan el Codificador PIN de TabClustPFN, que genera incrustaciones de 512 dimensiones independientes de las asignaciones de clúster. Este paso crea un espacio de representación relevante para la tarea donde las distancias euclidianas reflejan mejor la similitud predictiva.
2. Selector Geométrico ($\sigma$): Las instancias representativas se seleccionan en este espacio latente utilizando el agrupamiento K-Medoides con distancia euclidiana. El número de medoides ($K$) se fija al presupuesto de etiquetado. Se elige K-Medoides porque:
   • Selecciona instancias de entrenamiento reales (medoides) en lugar de centroides sintéticos, satisfaciendo el requisito de que las muestras seleccionadas sean etiquetables.
   • Minimiza un objetivo de cobertura explícito, asegurando que el subconjunto seleccionado cubra la distribución de los datos.
   • Es determinista (hasta la inicialización) y no requiere priores de clase.

Flujo de la Tubería:

1. Incrustar los datos de entrenamiento sin etiquetar en el espacio latente a través del codificador PFN no supervisado.
2. Aplicar K-Medoides para seleccionar $K$ medoides representativos en el espacio latente.
3. Mapear los índices seleccionados de vuelta al espacio de características original y consultar a un oráculo (experto) para obtener etiquetas.
4. Utilizar el subconjunto etiquetado resultante como el conjunto en contexto para un TFM supervisado (TabPFN-2.5) para predecir en datos de prueba no vistos.

Contribuciones Clave

1. Validación Empírica de la Sensibilidad: Los autores demuestran que el rendimiento de los TFM en regímenes de pocas etiquetas es altamente sensible a las instancias de contexto específicas seleccionadas. Un análisis de oráculo supervisado (utilizando un Algoritmo Memético de Estado Estacionario) revela una brecha sustancial de rendimiento (hasta $\approx 0.19$ $\Delta$AUC en los presupuestos más pequeños) entre la selección aleatoria y la selección optimizada, lo que indica un margen significativo de mejora.
2. Marco LUCoS: La propuesta de una tubería principista y libre de etiquetas que desacopla el aprendizaje de representaciones de la selección. Al realizar la selección en el espacio latente de un PFN no supervisado, LUCoS permite que métodos geométricos simples (K-Medoides) identifiquen subconjuntos de alto rendimiento.
3. Evaluación Exhaustiva: Evaluación en 67 conjuntos de datos OpenML-CC18 a través de seis presupuestos de pocas etiquetas ($1C$ a $32C$, donde $C$ es el número de clases). LUCoS alcanza el primer puesto en AUC medio, Precisión y F1 en todos los presupuestos.
4. Descomposición del Mecanismo: El artículo descompone las ganancias de LUCoS en componentes de selector y representación:
   • En los presupuestos más pequeños ($1C$), la ganancia se impulsa principalmente por el efecto del selector (imponiendo cobertura mediante K-Medoides), con el espacio latente contribuyendo poco más allá de las características crudas.
   • A partir de presupuestos de rango medio ($4C$), el efecto de representación se vuelve dominante. En este régimen, la selección en el espacio de características original se degrada (a menudo cayendo por debajo de la aleatoria), mientras que el espacio latente "rescata" el rendimiento. Este efecto de "rescate" se observa en la mayoría de los conjuntos de datos (78% de los casos).

Resultados

• Rendimiento: LUCoS supera consistentemente a las líneas base, incluido el muestreo Aleatorio, K-Medoides en espacio original, RDSS y ZCore. Ocupa el primer lugar en los seis presupuestos de etiquetado.
• Comparación con el Oráculo: LUCoS recupera aproximadamente 13–20% de la brecha entre la selección aleatoria y el oráculo supervisado, a pesar de operar sin ninguna información de etiqueta.
• Robustez: Los resultados son estables bajo análisis de salida de un conjunto de datos, eliminación progresiva de conjuntos de datos y a través de diferentes métricas de evaluación (AUC, ACC, F1).
• Modos de Fallo de las Alternativas: K-Medoides en espacio original y otros métodos no supervisados (RDSS, ZCore) no logran superar de manera fiable a la selección aleatoria, particularmente a medida que crece el presupuesto, confirmando que la geometría del espacio de representación es el cuello de botella crítico.

Significado y Afirmaciones

El artículo argumenta que la selección de contexto no supervisada fiable para datos tabulares depende menos de la sofisticación del algoritmo de selección y más de definir la representatividad dentro de una geometría de representación significativa.

Los autores afirman que:

• El "margen" para la mejora en el aprendizaje tabular de pocos ejemplos es sustancial, pero no puede accederse simplemente aplicando métodos de selección basados en distancia diseñados para visión o lenguaje a características tabulares crudas.
• Inducir una geometría latente mediante PFN no supervisados es un prerrequisito necesario para la selección efectiva de instancias en el escenario de arranque en frío.
• Mejorar el aprendizaje de representaciones para datos tabulares es tan crítico como diseñar heurísticas de selección complejas.

El trabajo posiciona la selección de contexto no supervisada como un puente entre los abundantes datos sin etiquetar y las predicciones fuertes y sensibles al contexto de los TFM. Los autores reconocen limitaciones, incluida la restricción a tareas de clasificación con $\le 10$ clases, el costo computacional de K-Medoides en grupos muy grandes y el acoplamiento actual con TabClustPFN como fuente de representación. Sugieren que el trabajo futuro debería explorar tareas de regresión, aproximaciones escalables y si otros modelos de incrustación o estrategias de selección pueden mejorar aún más el rendimiento.