Prior-Aligned Data Cleaning for Tabular Foundation Models

Aquí se presenta un resumen técnico detallado del artículo "Prior-Aligned Data Cleaning for Tabular Foundation Models" de Laure Berti-Equille.

1. Planteamiento del Problema: La Desajuste del Prior

El artículo aborda una limitación crítica en el despliegue de Modelos Fundacionales Tabulares (TFMs) como TabPFN v2 en datos del mundo real.

• El Problema Central: Los TFM alcanzan una precisión zero-shot de vanguardia mediante meta-aprendizaje sobre procesos de generación de datos sintéticos. Su "prior" interno ($P_{synth}$) asume entradas aproximadamente limpias, con márgenes gaussianos y bajas tasas de valores faltantes.
• La Desajuste: Los datos tabulares del mundo real ($P_{dirty}$) a menudo contienen valores faltantes, valores atípicos, duplicados y desplazamientos distribucionales. Alimentar estos datos "sucios" en un TFM crea un desajuste del prior.
• Consecuencias: Este desajuste degrada tanto la precisión predictiva como la calibración de la confianza (Error de Calibración Esperado, ECE).
• La Penalización por Recuento de Filas: A diferencia de los modelos estándar, los TFM dependen del Aprendizaje en Contexto (ICL). La incertidumbre predictiva del ICL escala como $O(1/\sqrt{n})$, donde $n$ es el tamaño del contexto (número de filas). Las estrategias de limpieza agresivas (por ejemplo, eliminar filas para remover valores atípicos) aumentan desproporcionadamente la incertidumbre porque reducen el tamaño del contexto de forma no lineal. Los marcos de limpieza existentes no tienen en cuenta esta penalización específica.
• El Desafío: La limpieza de datos es un problema de decisión secuencial (por ejemplo, imputar antes o después de la eliminación de valores atípicos cambia la distribución vista por los operadores posteriores). Las reglas de preprocesamiento estáticas no pueden anticipar secuencias óptimas para perfiles de error específicos.

2. Metodología: El Marco L2C2

Los autores introducen L2C2 (Learn2Clean), un marco de Aprendizaje por Refuerzo (RL) profundo que replantea la limpieza de datos como alineación del prior.

A. Formulación del Proceso de Decisión de Markov (MDP)

• Estado ($s_t$): Un vector de 9 dimensiones que representa la calidad actual del conjunto de datos:
  • Bloque de Calidad (6 dims): Tasa de faltantes, distancia media de Wasserstein-1 (desplazamiento), asimetría, curtosis, equilibrio de clases y ratio de retención de filas.
  • Bloque de Historia (3 dims): Indicadores binarios que indican si la imputación, la limpieza de valores atípicos o la escalación ya se han aplicado en el episodio.
• Acción ($a_t$): Una operación de limpieza parametrizada de tres familias:
  • Imputadores: Media, Mediana, KNN (con $k$ ajustable).
  • Limpiadores de Valores Atípicos: IQR o puntuación Z (con umbrales ajustables).
  • Escaladores: Min-max, puntuación Z, Cuantil.
• Transición: Aplicación determinista del operador al conjunto de datos, seguida de la reevaluación del estado.
• Horizonte: Fijado en $T=6$ pasos por episodio.

B. El Conjunto de Funciones de Recompensa

Una contribución central es el análisis sistemático del diseño de recompensas. Los autores probaron siete funciones de recompensa ($R1$–$R7$):

1. Colapsos Triviales: Recompensas basadas únicamente en completitud o distorsión (sin retroalimentación de la tarea aguas abajo) colapsaron en estrategias degeneradas (por ejemplo, no hacer nada o eliminar todas las filas).
2. Líneas Base Multi-Objetivo: Recompensas que combinan precisión (Random Forest), retención y métricas de calidad mostraron potencial, pero no eran conscientes de los TFM.
3. TFMAwareReward ($R7$, Propuesta): La nueva función de recompensa diseñada específicamente para TFM:
   $$R_{TFM} = w_{acc} \cdot Acc_{TabPFN} + w_{ret} \cdot \left(\frac{n'}{n_0}\right)^\alpha + w_{qual} \cdot Q(X') - \lambda \cdot W_1$$
   • Innovación Clave: El término de retención utiliza un exponente cuadrático ($\alpha=2$). Esto penaliza de forma no lineal la eliminación de filas, reflejando la escala de incertidumbre $O(1/\sqrt{n})$ del ICL. Perder el 20% de las filas resulta en una penalización mucho mayor de lo que sugeriría un modelo lineal.
   • Componentes: Equilibra la precisión de TabPFN v2, la retención de filas, la calidad de los datos (completitud/deduplicación) y el desplazamiento de Wasserstein.

C. Arquitectura

• Política: Redes de política profunda (PPO, DQN, A2C) implementadas mediante Stable-Baselines3.
• Observador: Un DataQualityObserver ligero calcula el vector de estado en milisegundos.
• Evaluación: La recompensa se calcula ejecutando TabPFN v2 en una división retenida de los datos limpiados.

3. Contribuciones Clave y Experimentos

El artículo valida L2C2 mediante seis experimentos en 10 conjuntos de datos de referencia OpenML:

• C1: Taxonomía de Recompensas: Demostró que 3 de los 7 diseños de recompensa colapsan en estrategias triviales. Solo las recompensas multi-objetivo que incluyen el rendimiento de la tarea aguas abajo (específicamente la precisión del TFM) generan clasificaciones significativas de pipelines.
• C2: Alineado al Prior vs. Recompensa RF:
  • Se compararon pipelines seleccionados por una recompensa de Random Forest (RF) frente a la propuesta TFMAwareReward.
  • Resultado: TFMAwareReward seleccionó pipelines estructuralmente diferentes en 4/10 conjuntos de datos (prefiriendo imputación por media/mediana sobre KNN para preservar los momentos marginales globales).
  • Rendimiento: El enfoque alineado al TFM logró mayor precisión en TabPFN v2 en casos divergentes (Media 0.851 vs. 0.843) y nunca fue superado.
• C3: Recuperación de Calibración: La limpieza alineada al prior redujo significativamente el Error de Calibración Esperado (ECE) en todos los tipos de error (MCAR, MAR, valores atípicos, duplicados), demostrando que la limpieza mejora la confianza del modelo, no solo la precisión.
• C4: Sensibilidad al Error: La ventaja de precisión de la limpieza alineada al prior es no monótona con respecto a las tasas de inyección de error. Depende de la estructura distribucional de los errores y no solo del volumen de datos faltantes.
• C5: Acciones Parametrizadas: Permitir que la política ajuste subparámetros (por ejemplo, $k$ de KNN, umbrales de valores atípicos) mejoró la recompensa del mejor pipeline encontrado en 9/10 conjuntos de datos en comparación con una línea base discreta de parámetros fijos.
• C6: Aprendizaje por Transferencia: Una política pre-entrenada en un único conjunto de datos fuente (Ionosphere) y ajustada finamente en conjuntos de datos retenidos (Phoneme, Adult, Bank) superó el rendimiento de un modelo entrenado desde cero en el punto de control de 2.000 pasos en los tres objetivos. Esto demuestra que el "conocimiento de alineación del prior" es transferible entre dominios.

4. Resumen de Resultados

• Precisión: L2C2 con TFMAwareReward coincidió o superó consistentemente a las mejores líneas base de oráculo codicioso.
• Calibración: Mejoras significativas en ECE, particularmente para escenarios de inyección de duplicados y MAR (Missing At Random).
• Eficiencia: La política de RL amortiza el costo de búsqueda para encontrar secuencias de limpieza óptimas, generalizando a nuevos conjuntos de datos sin necesidad de reentrenamiento desde cero.
• Significancia Estadística: Las pruebas de rango con signo de Wilcoxon confirmaron que las acciones parametrizadas mejoran significativamente los resultados ($p=0.004$) y que la recompensa alineada al TFM selecciona pipelines distintos y superiores en casos divergentes ($p=0.063$ para los 4 conjuntos de datos divergentes).

5. Significado e Impacto

• Cambio de Paradigma: Mueve la limpieza de datos de un paso de preprocesamiento estático y heurístico a un proceso de decisión aprendido y secuencial optimizado para el prior específico del modelo fundacional.
• Insight Científico: Establece que el diseño de recompensas es el componente más crítico en la limpieza basada en RL; las recompensas ingenuas conducen a estrategias degeneradas. La propuesta TFMAwareReward proporciona una forma principista de equilibrar precisión, calidad de datos y las restricciones únicas del aprendizaje en contexto.
• Utilidad Práctica: Proporciona un marco para que los profesionales desplieguen TFM en datos desordenados del mundo real sin necesidad de grandes corpus anotados para el ajuste fino, alineando la distribución de entrada con el prior sintético del modelo.
• Código Abierto: El código y los conjuntos de datos están disponibles públicamente, facilitando más investigación en IA centrada en datos y despliegue de modelos fundacionales.

En conclusión, el artículo argumenta que para los Modelos Fundacionales Tabulares, la preparación de datos es una herramienta de primer orden para la gestión de la incertidumbre, y alinear la distribución de entrada con el prior sintético del modelo mediante políticas de RL aprendidas produce una precisión y calibración superiores en comparación con el preprocesamiento estático estándar.