Riepilogo Tecnico: L'Ingegneria delle Caratteristiche come Bias di Identificabilità per la Generalizzazione OOD

1. Enunciato del Problema

Le reti neurali profonde eccellono nell'interpolazione all'interno del supporto dei loro dati di addestramento, ma falliscono frequentemente nell'estrapolazione fuori distribuzione (OOD). Sebbene il Teorema di Approssimazione Universale garantisca le capacità di interpolazione, l'estrapolazione garantita matematicamente rimane un problema irrisolto.

Il problema centrale identificato in questo lavoro è l'equivalenza osservazionale. Su qualsiasi finestra di addestramento finita $W$, infiniti processi generatori di dati (DGP) possono essere $\epsilon$-equivalenti dal punto di vista osservazionale (indistinguibili entro una tolleranza $\epsilon$) eppure divergere arbitrariamente al di fuori di $W$. Di conseguenza, nessun criterio in-distribution (come la perdita di addestramento, la convalida incrociata o la perdita su dati tenuti in riserva su $W$) può distinguere in modo affidabile il processo sottostante vero da queste ipotesi confondenti. Il documento sostiene che l'estrapolazione OOD è non identificabile dai dati da soli; la scelta della rappresentazione e della classe di modelli costituisce un "impegno strutturale" che risolve questa ambiguità.

2. Metodologia e Quadro Teorico

2.1 L'Impegno DGP $(\phi, \psi, M)$

Gli autori formalizzano il processo di apprendimento come un impegno congiunto che coinvolge tre componenti:

1. Mappa delle Caratteristiche ($\phi$): Trasforma l'input $x$ in uno spazio di rappresentazione $Z_x$.
2. Mappa delle Etichette ($\psi$): Trasforma il target $y$ in $Z_y$.
3. Classe di Modelli ($M$): La classe di ipotesi che opera sugli spazi trasformati.

Il documento postula che la terna $(\phi, \psi, M)$ detta il DGP assunto. Se questo impegno si allinea con il vero DGP in modo tale che il target diventi linearmente esprimibile (o altrimenti semplice) nello spazio trasformato, l'estrapolazione OOD diventa interpolazione.

2.2 Equivalenza Osservazionale e Identificabilità

La Proposizione 1 stabilisce che la Minimizzazione del Rischio Empirico (ERM) è cieca ai processi osservazionalmente equivalenti. Per qualsiasi finestra finita $W$ e livello di rumore $\sigma$, se due processi $P_1$ e $P_2$ concordano su $W$ entro una tolleranza $\epsilon$, nessun test supportato su $W$ può distinguerli in modo affidabile quando $\epsilon\sqrt{n} \ll \sigma$. Ciò implica che i criteri di selezione standard (come la convalida incrociata) non possono rompere il pareggio tra DGP concorrenti che sono osservazionalmente equivalenti sul set di addestramento.

La Proposizione 2 introduce un'euristica per rompere questo pareggio: dati vicino al confine. Se due processi divergono a un tasso $r$ al di fuori della finestra di addestramento, un segmento di convalida di larghezza $\delta \ge \epsilon/r$ immediatamente adiacente al confine di addestramento uscirà dalla zona di accordo. La valutazione dei candidati su questo segmento vicino al confine permette la selezione dell'impegno strutturale corretto.

2.3 Esistenza Costruttiva

Il documento dimostra che se il vero DGP è realizzabile all'interno della classe di modelli $M$ dopo la trasformazione (cioè $g^* \circ \phi = f$ su tutto $X$, non solo su $W$), e il modello è identificabile da campioni finiti, allora l'errore OOD svanisce ($\epsilon_{OOD} = 0$). Ciò è dimostrato per:

• Funzioni sinusoidali: L'uso di coordinate di Fourier $\phi(x) = (\sin x, \cos x)$ trasforma l'estrapolazione periodica in interpolazione su un cerchio $S^1$.
• Leggi di potenza: L'uso di trasformazioni log-log.
• Esponenziali: L'uso di trasformazioni log-y.

3. Contributi Chiave

1. Formalizzazione dell'Equivalenza Osservazionale: Il documento fornisce un limite inferiore teorico sulla capacità di qualsiasi test in-distribution di distinguere tra processi osservazionalmente equivalenti, dimostrando che il rischio OOD è non identificabile senza impegni strutturali.
2. Il Quadro dell'Impegno DGP: Identifica $(\phi, \psi, M)$ come l'unica fonte di informazione strutturale che un modellatore può fornire per risolvere l'ambiguità OOD. Sostiene che l'"ingegneria delle caratteristiche" non è una deviazione dal successo del deep learning, ma l'iniezione esplicita dell'impegno strutturale necessario.
3. Esperimenti Controllati su Coppie Minime: Gli autori isolano le variabili per mostrare che architetture identiche con perdita in-distribution (ID) identica possono differire di ordini di grandezza (ad es. $\sim520\times$) nelle prestazioni OOD esclusivamente in base alla mappa delle caratteristiche $\phi$.
4. Validazione Cross-Dominio: Il meccanismo è validato su tre domini delle scienze naturali:
   • Chimica: Cinetica di azione di massa (MAK) dove le caratteristiche bilineari linearizzano la dinamica.
   • Fisica: La Terza Legge di Keplero per la previsione di esopianeti, dove le trasformazioni logaritmiche recuperano gli esponenti fisici.
   • Biologia: Rilevamento di DNA codificante tra specie diverse, dove caratteristiche invarianti al codice genetico trasferiscono zero-shot tra organismi con contenuto GC variabile.
5. Artefatti per i Praticanti:
   • Convalida Vicino al Confine: Un'euristica di selezione superiore alla convalida incrociata per la scelta delle mappe delle caratteristiche.
   • Diagnostica $\delta_{OOD}$: Una metrica basata su SINDy (Identificazione Sparsa di Dinamiche Non Lineari) che correla il residuo di un adattamento sparso su dati OOD con la correttezza della mappa delle caratteristiche.
   • Controllo di Invarianza Architetturale: Uno studio che mostra che la garanzia OOD appartiene alla mappa delle caratteristiche (ad es. Codifica Posizionale Esatta di Fourier), non al backbone (Transformer, Mamba o S4D).

4. Risultati Sperimentali

4.1 Esperimenti Giocattolo (Sin(x) e Leggi di Potenza)

• Sin(x): Un MLP addestrato su $x$ grezzo estrapola come una curva liscia e livellata con un alto errore OOD ($\sim156\%$). Un MLP identico addestrato su caratteristiche di Fourier $(\sin x, \cos x)$ raggiunge un errore OOD vicino allo zero ($\sim0.3\%$). I modelli fondazionali (TimesFM, TabPFN) esibiscono lo stesso comportamento: hanno successo quando il formato di input fornisce implicitamente la mappa delle caratteristiche corretta e falliscono altrimenti.
• Legge di Potenza vs Esponenziale: In un contesto in cui $x^2$ e $e^{\alpha(x-1)}$ sono osservazionalmente equivalenti su $[1, 2]$, solo la corretta mappa delle caratteristiche trasformata in log combinata con un modello lineare (OLS) raggiunge un basso errore OOD. Impegni errati (ad es. log-log su un target esponenziale) risultano in un fallimento catastrofico (errore $>9.999\%$).

4.2 Domini delle Scienze Naturali

• Chimica (MAK): Le caratteristiche bilineari permettono all'OLS di recuperare le equazioni governative esatte con $0.0\%$ di errore OOD, mentre gli MLP grezzi falliscono ($24.4\%$).
• Fisica (Keplero): L'uso di $(\log a, \log M_{star})$ con OLS recupera la legge fisica con un errore OOD del $3.8\%$. Gli MLP grezzi sovradattano i dati ID ($6.9\%$) ma falliscono su OOD ($79.0\%$).
• Biologia (CDS): Le codificazioni posizionali standard (APE appresa, sinusoidale) falliscono nel generalizzare tra specie con contenuti GC diversi (scendendo a livelli di caso). Le mappe delle caratteristiche che codificano la periodicità dei codoni e la composizione degli amminoacidi abilitano il trasferimento zero-shot con un AUROC fino a $0.96$.

4.3 Invarianza Architetturale (Transformer, Mamba, S4D)

In un compito di sequenza periodica, la Codifica Posizionale Esatta di Fourier raggiunge un errore OOD vicino allo zero ($\le 0.2\%$) su tutte e tre le architetture e varie lunghezze di periodo. Al contrario, le codificazioni posizionali sinusoidali standard, RoPE e apprese falliscono (errore $>90\%$). Ciò conferma che la garanzia OOD è una proprietà della mappa delle caratteristiche, non dell'architettura.

4.4 Limiti e Condizioni Necessarie

Utilizzando un benchmark periodico a $d$-toro, il documento identifica tre condizioni congiuntamente necessarie per la generalizzazione OOD:

1. Allineamento della Rappresentazione: La mappa delle caratteristiche deve allinearsi con il DGP.
2. Capacità della Classe di Modelli: Il modello deve essere in grado di esprimere l'ordine di interazione del target nello spazio trasformato.
3. Copertura: I dati di addestramento devono coprire sufficientemente lo spazio di rappresentazione rilevante (copertura critica $M_{crit} \approx 4$).
   Lo studio mostra che anche con una mappa delle caratteristiche corretta, si verifica un fallimento OOD se la classe di modelli manca di capacità o se la copertura del campione è insufficiente.

5. Significato e Affermazioni

Il documento afferma di risolvere il "quando e perché" del fallimento dell'estrapolazione delle reti neurali. Sostiene che:

• Il rischio OOD è non identificabile dai dati su una singola finestra; l'impegno strutturale $(\phi, \psi, M)$ è l'unico meccanismo per risolvere ciò.
• L'ingegneria delle caratteristiche non è obsoleta. Sebbene il deep learning possa apprendere caratteristiche in-distribution, sono necessari impegni strutturali espliciti per l'estrapolazione.
• Il pre-addestramento non risolve il problema. I modelli pre-addestrati ereditano il problema dell'impegno attraverso il loro formato di input; hanno successo solo quando l'utente fornisce la trasformazione corretta.
• Caratteristiche corrette sono necessarie ma non sufficienti. La classe di modelli deve esprimere il target e i dati devono coprire lo spazio di rappresentazione.

Gli autori concludono che l'"insieme di Rashomon" (l'insieme di modelli che concordano sui dati di addestramento ma non concordano fuori distribuzione) non viene navigato dai dati da soli, ma dalla scelta del modellatore dell'impegno strutturale. Il documento riformula l'ingegneria delle caratteristiche come l'iniezione esplicita dell'impegno DGP necessario per rendere l'estrapolazione identificabile.