Correcting Class Imbalance in Prior-Data Fitted Networks for Tabular Classification

Resumen Técnico: Corrección del Desequilibrio de Clases en Redes Ajustadas a Datos Previos para Clasificación Tabular

Enunciado del Problema
Las Redes Ajustadas a Datos Previos (PFN, por sus siglas en inglés), en particular TabPFN, han demostrado un rendimiento de vanguardia en tareas de clasificación tabular aprovechando el aprendizaje en contexto (ICL) sin actualizar los pesos del modelo. Sin embargo, al igual que muchos clasificadores, las PFN sufren significativamente cuando se aplican a datos con desequilibrio de clases. En tales escenarios, aunque la precisión promedio pueda mantenerse alta, el rendimiento en las clases minoritarias se degrada drásticamente, limitando la utilidad de estos modelos para aplicaciones críticas como la detección de enfermedades raras o ciberataques.

Las estrategias estándar de mitigación para el desequilibrio de clases se dividen en tres categorías: basadas en la pérdida (reponderación), basadas en datos (remuestreo) y basadas en decisiones (umbralización). No obstante, la dinámica única de ICL de las PFN hace que las estrategias basadas en la pérdida sean imposibles, ya que los pesos del modelo no se actualizan durante la inferencia. Además, los enfoques basados en datos existentes, como la generación de muestras sintéticas minoritarias, han mostrado una eficacia limitada y altos costos computacionales en este contexto. Existe una falta de técnicas probadas para abordar el desequilibrio específicamente dentro del marco de las PFN.

Metodología
Los autores investigan las características únicas de calibración de las PFN para desarrollar y evaluar estrategias de corrección compatibles con el ICL. El estudio se centra en cuatro técnicas específicas:

1. Umbralización (Nivel de Decisión): Ajustar el límite de decisión alejándolo del umbral estándar de 0.5. Los autores hipotetizan que establecer el umbral $\tau$ igual a la probabilidad a priori de la clase minoritaria ($\pi_1$) puede contrarrestar el desequilibrio de datos, minimizando efectivamente el riesgo esperado $R$ definido por costos desiguales de falsos negativos y falsos positivos.
2. Submuestreo (Nivel de Datos): Reducir el número de muestras de la clase mayoritaria en el conjunto de contexto para igualar el tamaño de la clase minoritaria, igualando así las probabilidades a priori ($\pi_0 = \pi_1$) sin generar nuevos datos.
3. Sobremuestreo (Nivel de Datos): Repetir muestras de la clase minoritaria en el conjunto de contexto para equilibrar las probabilidades a priori.
4. Aumentación Sintética (Nivel de Datos): Generar muestras minoritarias artificiales utilizando un modelo generador para complementar el conjunto de contexto.

Los experimentos utilizan TabPFN-2.5 en 11 tareas de clasificación binaria del benchmark OpenML-CC18. Los conjuntos de datos se desequilibran artificialmente con probabilidades a priori minoritarias ($\pi_1$) que oscilan entre 0.05 y 0.3, mientras que el conjunto de prueba permanece equilibrado. El rendimiento se evalúa utilizando precisión por clase, precisión equilibrada y Precisión de la Peor Clase (WCA).

Hallazgos y Resultados Clave
El estudio arroja varias observaciones críticas sobre el comportamiento de las PFN y la eficacia de los métodos de corrección:

• Características de Calibración: A diferencia de muchos clasificadores no lineales que son sobreconfiados o subconfiados, las PFN exhiben un sesgo específico: están bien calibradas en datos equilibrados pero se vuelven sesgadas hacia la clase mayoritaria cuando los datos están desequilibrados. Este sesgo es consistente y predecible, lo que sugiere que una simple umbralización puede corregirlo efectivamente.
• Rendimiento de la Umbralización: Los resultados experimentales confirman que el umbral de decisión óptimo para maximizar la precisión equilibrada se alinea estrechamente con la probabilidad a priori de la clase minoritaria ($\tau = \pi_1$). Este método logra la mejor precisión equilibrada general, mejorando significativamente el rendimiento de la clase minoritaria con solo una disminución mínima en la precisión de la clase mayoritaria.
• Eficacia del Submuestreo: El submuestreo se desempeña de manera comparable a la umbralización en términos de precisión equilibrada y logra la mayor Precisión de la Peor Clase (WCA). Una ventaja distintiva del submuestreo es la reducción del costo computacional de inferencia, ya que la complejidad de consulta de TabPFN escala cuadráticamente con el tamaño del contexto.
• Ineficacia del Remuestreo: Tanto el sobremuestreo como la aumentación sintética (TabPFGen) tienen un rendimiento inferior en comparación con el modelo base. El sobremuestreo conduce a un ajuste posterior "puntiagudo" debido a las muestras repetidas, mientras que la aumentación sintética no logra mejorar la precisión porque las muestras generadas provienen de la misma clase de modelo y distribución de datos, sin ofrecer información nueva.

Significado y Afirmaciones
El artículo afirma que el rendimiento de los modelos PFN de vanguardia en datos tabulares desequilibrados puede mejorarse significativamente mediante correcciones simples y fundamentadas, en lugar de cambios arquitectónicos complejos o generación de datos.

La contribución principal es la identificación de que el sesgo de calibración específico de las PFN hacia la clase mayoritaria permite una corrección efectiva mediante umbralización (estableciendo $\tau = \pi_1$) y submuestreo. Los autores enfatizan que estos métodos son:

• Sencillos de implementar: No requieren reentrenamiento ni ajuste fino del modelo preentrenado.
• Efectivos: Mejoran drásticamente la detección de clases minoritarias mientras mantienen una alta precisión equilibrada.
• Computacionalmente eficientes: Especialmente el submuestreo, que reduce los costos de inferencia.

Los autores concluyen que, aunque estos métodos simples abordan el problema inmediato del desequilibrio, pueden dejar espacio para futuras ganancias de rendimiento mediante métodos diseñados específicamente para las fortalezas únicas de las PFN. También señalan que extender estas estrategias a la clasificación multiclase sigue siendo un desafío no trivial para trabajos futuros.