OrthoFormer: Instrumental Variable Estimation in Transformer Hidden States via Neural Control Functions
Il paper presenta OrthoFormer, un'architettura Transformer basata su variabili strumentali e funzioni di controllo neurale che integra l'identificazione causale direttamente nei blocchi del modello per superare i limiti dell'apprendimento correlazionale e garantire robustezza nei confronti di cambiamenti nella distribuzione dei dati.