Physics-informed fine-tuning of foundation models for partial differential equations

1. Il Problema

I modelli di base (Foundation Models) per le Equazioni Differenziali alle Derivate Parziali (PDE) sono emersi come potenti surrogati pre-addestrati su sistemi fisici diversificati. Tuttavia, l'adattamento di questi modelli a nuovi compiti a valle (downstream tasks) presenta sfide significative:

• Scarsità di dati: Spesso non sono disponibili dati specifici per il compito (soluzioni etichettate) per nuovi regimi fisici.
• Shift di distribuzione: Le differenze nelle condizioni iniziali o al contorno tra i dati di pre-addestramento e quelli del compito target impediscono un trasferimento efficace dei parametri.
• Limiti dell'approccio puramente data-driven: Il semplice fine-tuning su pochi dati può portare a previsioni statisticamente probabili ma fisicamente inconsistenti o impossibili.
• Costo computazionale: Retrainare modelli da zero per ogni nuova equazione o parametro fisico è proibitivo.

Sebbene l'addestramento "Physics-Informed" (PINN) abbia dimostrato successo nella risoluzione di PDE senza dati, il suo potenziale per il fine-tuning di modelli di base pre-addestrati basati sui dati non è stato sistematicamente studiato.

2. Metodologia

Gli autori propongono un framework di Physics-Informed Fine-Tuning (PIFT) per adattare i modelli di base pre-addestrati (in questo caso, POSEIDON) a compiti a valle che coinvolgono PDE non viste durante il pre-addestramento.

• Obiettivo di Addestramento: Invece di minimizzare solo la perdita basata sui dati (errore rispetto alle soluzioni ground-truth), il framework incorpora direttamente i vincoli fisici nell'obiettivo di ottimizzazione. La funzione di perdita totale include:
  • Il residuo della PDE ($\|N_f(u)\|$).
  • Le condizioni al contorno ($\|B_f(u)\|$).
  • (Opzionalmente) La perdita dati standard in un approccio ibrido.
• Implementazione Tecnica:
  • Padding a zero: I bordi del dominio sono riempiti con zeri per preservare le dimensioni spaziali durante il calcolo delle derivate (finite differences) e per imporre direttamente le condizioni di Dirichlet nulle, eliminando la necessità di termini di penalità morbida.
  • Aggiornamento dei Parametri: I parametri del modello sono divisi in sottoinsiemi (backbone, embedding, layer norm). Il backbone e gli embedding temporali vengono inizializzati tramite trasferimento di pesi dal modello pre-addestrato, mentre i parametri di embedding e recupero vengono inizializzati casualmente per adattarsi ai canali di input/output specifici del nuovo compito.
  • Strategia Ibrida: Viene proposta una strategia che combina la perdita dati (su un piccolo set etichettato) con la perdita fisica calcolata su campioni di input generati "on-the-fly" (senza soluzioni etichettate). Questo permette di espandere la distribuzione di addestramento oltre i dati etichettati disponibili.
• Compito di Valutazione: Il metodo è stato testato sull'equazione di Poisson bidimensionale (un'ellittica stazionaria), un compito fuori distribuzione rispetto al pre-addestramento di POSEIDON (che si basa su dinamiche dei fluidi).

3. Contributi Chiave

1. Primo Framework PIFT: Introduzione del primo framework sistematico di fine-tuning physics-informed per modelli di base PDE basati sui dati.
2. Adattamento Zero-Shot e Few-Shot: Dimostrazione che è possibile adattare i modelli a nuove famiglie di PDE utilizzando solo vincoli fisici (zero-shot rispetto ai dati etichettati) o con quantità minime di dati.
3. Strategia Ibrida Superiore: Evidenziazione che un approccio ibrido (dati + fisica) offre una generalizzazione superiore agli scenari fuori distribuzione (out-of-distribution) rispetto ai metodi puramente data-driven o puramente fisici, specialmente quando i dati etichettati sono scarsi.
4. Validazione Empirica: Dimostrazione che il PIFT raggiunge accuratezza competitiva senza richiedere soluzioni PDE per l'addestramento, offrendo un percorso scalabile ed efficiente per il machine learning scientifico.

4. Risultati Sperimentali

Gli esperimenti confrontano il fine-tuning di POSEIDON (con perdita dati, fisica o ibrida) contro operatori FNO addestrati da zero.

• Interpolazione (Stessa distribuzione):
  • In regimi con dati scarsi ($M < 16$), i modelli di base fine-tunati superano costantemente gli FNO addestrati da zero.
  • L'approccio ibrido (POSEIDON Hybrid) supera tutti gli altri, imparando efficacemente anche da un singolo campione etichettato ($M=1$), mentre l'approccio data-driven richiede almeno 32 campioni per raggiungere prestazioni simili.
  • Con grandi set di dati ($M \ge 128$), l'approccio data-driven riduce l'errore assoluto, ma i modelli physics-informed producono soluzioni che soddisfano meglio le equazioni governanti (residui più bassi).
• Estrapolazione (Fuori distribuzione):
  • I modelli puramente data-driven falliscono drasticamente su forme di sorgente estreme non viste in addestramento.
  • I modelli physics-informed mostrano maggiore stabilità grazie ai vincoli fisici che agiscono come "guardrail".
  • Risultato Sorprendente: L'approccio ibrido (POSEIDON Hybrid) ottiene errori di estrapolazione inferiori rispetto all'interpolazione. Questo perché la generazione on-the-fly di campioni non etichettati con forme di sorgente diverse (es. onde sinusoidali, pattern radiali) espande la distribuzione di addestramento, allineandola meglio al set di test fuori distribuzione.
• Efficienza: Il fine-tuning del modello di base è significativamente più veloce e richiede meno risorse computazionali rispetto all'addestramento da zero di un FNO, pur mantenendo una latenza di inferenza comparabile (millisecondi).

5. Significato e Implicazioni

Questo lavoro stabilisce il Physics-Informed Fine-Tuning come un paradigma scalabile ed efficiente dal punto di vista dei dati per l'adattamento dei modelli di base nel machine learning scientifico.

• Superamento del collo di bottiglia dei dati: Permette di addestrare modelli su compiti per cui le soluzioni etichettate sono costose o impossibili da ottenere (es. esperimenti fisici complessi), sfruttando solo le leggi fisiche note.
• Interpretabilità Fisica: Garantisce che le previsioni del modello siano fisicamente coerenti, riducendo il rischio di risultati "allucinanti" tipici dei modelli puramente statistici.
• Generalizzazione Robusta: La strategia ibrida offre una via promettente per affrontare lo shift di distribuzione, un problema critico nelle applicazioni reali dove le condizioni operative variano.

In sintesi, il paper dimostra che combinare la capacità rappresentativa dei modelli di base pre-addestrati con la rigidità delle leggi fisiche durante il fine-tuning crea surrogati più robusti, affidabili e adattabili per la simulazione scientifica.