Prior-Aligned Data Cleaning for Tabular Foundation Models

1. Enunciazione del Problema: Il Disallineamento del Prior

Il documento affronta una limitazione critica nella distribuzione dei Modelli Fondamentali Tabellari (TFM) come TabPFN v2 su dati reali.

• Il Problema Centrale: I TFM raggiungono un'accuratezza zero-shot all'avanguardia tramite meta-apprendimento su processi di generazione di dati sintetici. Il loro "prior" interno ($P_{synth}$) presuppone input approssimativamente puliti, con margini gaussiani e bassi tassi di valori mancanti.
• Il Disallineamento: I dati tabellari reali ($P_{dirty}$) contengono spesso valori mancanti, outlier, duplicati e spostamenti distribuzionali. Inserire questi dati "sporchi" in un TFM crea un disallineamento del prior.
• Conseguenze: Tale disallineamento degrada sia l'accuratezza predittiva che la calibrazione della confidenza (Errore di Calibrazione Atteso, ECE).
• La Penalità del Conteggio delle Righe: A differenza dei modelli standard, i TFM si basano sull'Apprendimento in Contesto (ICL). L'incertezza predittiva dell'ICL scala come $O(1/\sqrt{n})$, dove $n$ è la dimensione del contesto (numero di righe). Strategie di pulizia aggressive (ad esempio, eliminare righe per rimuovere outlier) aumentano sproporzionatamente l'incertezza perché riducono la dimensione del contesto in modo non lineare. I framework di pulizia esistenti non tengono conto di questa specifica penalità.
• La Sfida: La pulizia dei dati è un problema decisionale sequenziale (ad esempio, l'imputazione prima o dopo la rimozione degli outlier modifica la distribuzione vista dagli operatori successivi). Le regole di pre-elaborazione statiche non possono anticipare le sequenze ottimali per profili di errore specifici.

2. Metodologia: Il Framework L2C2

Gli autori introducono L2C2 (Learn2Clean), un framework di Apprendimento per Rinforzo (RL) profondo che riformula la pulizia dei dati come allineamento del prior.

A. Formulazione del Processo Decisionale di Markov (MDP)

• Stato ($s_t$): Un vettore a 9 dimensioni che rappresenta la qualità corrente del dataset:
  • Blocco Qualità (6 dimensioni): Tasso di valori mancanti, distanza media di Wasserstein-1 (deriva), asimmetria, curtosi, equilibrio delle classi e rapporto di ritenzione delle righe.
  • Blocco Storico (3 dimensioni): Flag binari che indicano se l'imputazione, la pulizia degli outlier o la scalatura sono già stati applicati nell'episodio.
• Azione ($a_t$): Un'operazione di pulizia parametrizzata appartenente a tre famiglie:
  • Imputatori: Media, Mediana, KNN (con $k$ regolabile).
  • Pulitori di Outlier: IQR o Z-score (con soglie regolabili).
  • Scalatori: Min-max, Z-score, Quantile.
• Transizione: Applicazione deterministica dell'operatore al dataset, seguita dalla rivalutazione dello stato.
• Orizzonte: Fissato a $T=6$ passaggi per episodio.

B. La Suite della Funzione di Ricompensa

Un contributo centrale è l'analisi sistematica della progettazione della ricompensa. Gli autori hanno testato sette funzioni di ricompensa ($R1$–$R7$):

1. Collassi Triviali: Ricompense basate esclusivamente sulla completezza o sulla distorsione (senza feedback sul compito a valle) sono collassate in strategie degenerate (ad esempio, non fare nulla o eliminare tutte le righe).
2. Baseline Multi-Obiettivo: Ricompense che combinano accuratezza (Random Forest), ritenzione e metriche di qualità hanno mostrato potenziale ma non erano consapevoli dei TFM.
3. TFMAwareReward ($R7$, Proposta): La nuova funzione di ricompensa progettata specificamente per i TFM:
   $$R_{TFM} = w_{acc} \cdot Acc_{TabPFN} + w_{ret} \cdot \left(\frac{n'}{n_0}\right)^\alpha + w_{qual} \cdot Q(X') - \lambda \cdot W_1$$
   • Innovazione Chiave: Il termine di ritenzione utilizza un esponente quadratico ($\alpha=2$). Questo penalizza in modo non lineare l'eliminazione delle righe, riflettendo la scalatura dell'incertezza $O(1/\sqrt{n})$ dell'ICL. Perdere il 20% delle righe comporta una penalità molto più grande di quanto suggerirebbe un modello lineare.
   • Componenti: Bilancia l'accuratezza di TabPFN v2, la ritenzione delle righe, la qualità dei dati (completezza/deduplicazione) e la deriva di Wasserstein.

C. Architettura

• Politica: Reti di politica profonde (PPO, DQN, A2C) implementate tramite Stable-Baselines3.
• Osservatore: Un DataQualityObserver leggero calcola il vettore di stato in millisecondi.
• Valutazione: La ricompensa è calcolata eseguendo TabPFN v2 su una partizione tenuta da parte dei dati puliti.

3. Contributi Chiave ed Esperimenti

Il documento convalida L2C2 attraverso sei esperimenti su 10 dataset di benchmark OpenML:

• C1: Tassonomia delle Ricompense: Ha dimostrato che 3 su 7 design di ricompensa collassano in strategie triviali. Solo le ricompense multi-obiettivo che includono le prestazioni del compito a valle (specificamente l'accuratezza del TFM) producono ranking significativi delle pipeline.
• C2: Allineato al Prior vs. Ricompensa RF:
  • Confronto tra pipeline selezionate da una ricompensa Random Forest (RF) e la proposta TFMAwareReward.
  • Risultato: TFMAwareReward ha selezionato pipeline strutturalmente diverse su 4/10 dataset (preferendo l'imputazione media/mediana rispetto a KNN per preservare i momenti marginali globali).
  • Prestazioni: L'approccio allineato al TFM ha raggiunto un'accuratezza TabPFN v2 più alta nei casi divergenti (Media 0.851 vs 0.843) e non è mai stato superato.
• C3: Recupero della Calibrazione: La pulizia allineata al prior ha ridotto significativamente l'Errore di Calibrazione Atteso (ECE) su tutti i tipi di errore (MCAR, MAR, outlier, duplicati), dimostrando che la pulizia migliora la confidenza del modello, non solo l'accuratezza.
• C4: Sensibilità all'Errore: Il vantaggio di accuratezza della pulizia allineata al prior è non monotono rispetto ai tassi di iniezione dell'errore. Dipende dalla struttura distribuzionale degli errori piuttosto che solo dal volume dei dati mancanti.
• C5: Azioni Parametrizzate: Consentire alla politica di regolare i sottoparametri (ad esempio, $k$ di KNN, soglie degli outlier) ha migliorato la ricompensa della pipeline migliore trovata su 9/10 dataset rispetto a una baseline discreta a parametri fissi.
• C6: Apprendimento per Trasferimento: Una politica pre-addestrata su un singolo dataset sorgente (Ionosphere) e affinata su dataset tenuti da parte (Phoneme, Adult, Bank) ha superato le prestazioni di un modello addestrato da zero al checkpoint di 2.000 passaggi su tutti e tre gli obiettivi. Ciò dimostra che la "conoscenza dell'allineamento del prior" è trasferibile tra domini.

4. Riepilogo dei Risultati

• Accuratezza: L2C2 con TFMAwareReward ha costantemente eguagliato o superato le migliori baseline greedy oracle.
• Calibrazione: Miglioramenti significativi nell'ECE, in particolare per l'iniezione di duplicati e gli scenari MAR (Missing At Random).
• Efficienza: La politica RL ammortizza il costo di ricerca per trovare sequenze di pulizia ottimali, generalizzando a nuovi dataset senza bisogno di riaddestramento da zero.
• Significatività Statistica: I test di rango con segno di Wilcoxon hanno confermato che le azioni parametrizzate migliorano significativamente i risultati ($p=0.004$) e che la ricompensa allineata al TFM seleziona pipeline distinte e superiori nei casi divergenti ($p=0.063$ per i 4 dataset divergenti).

5. Significato e Impatto

• Cambiamento di Paradigma: Sposta la pulizia dei dati da una fase di pre-elaborazione euristica statica a un processo decisionale sequenziale appreso, ottimizzato per il prior specifico del modello fondamentale.
• Insight Scientifico: Stabilisce che la progettazione della ricompensa è il componente più critico nella pulizia basata su RL; ricompense naive portano a strategie degenerate. La proposta TFMAwareReward fornisce un modo principiato per bilanciare accuratezza, qualità dei dati e i vincoli unici dell'apprendimento in contesto.
• Utilità Pratica: Fornisce un framework per i professionisti per distribuire TFM su dati reali disordinati senza bisogno di grandi corpora annotati per l'addestramento fine, allineando la distribuzione di input con il prior sintetico del modello.
• Open Source: Il codice e i dataset sono pubblicamente disponibili, facilitando ulteriori ricerche nell'AI centrata sui dati e nella distribuzione dei modelli fondamentali.

In conclusione, il documento sostiene che per i Modelli Fondamentali Tabellari, la preparazione dei dati è uno strumento di primo piano per la gestione dell'incertezza, e l'allineamento della distribuzione di input con il prior sintetico del modello tramite politiche RL apprese produce accuratezza e calibrazione superiori rispetto al pre-elaborazione statica standard.