SURGELLM: Rethinking Multi-Task Evaluation through Task-Aware Feature Gating with Class-Balanced Normalization

Riepilogo Tecnico: SURGELLM

Definizione del Problema
Gli encoder sottoposti a fine-tuning e impiegati in compiti di Elaborazione del Linguaggio Naturale (NLP) eterogenei affrontano tre sfide concomitanti:

1. Bias Induttivi Disallineati: Compiti con vocabolari, spazi di etichettatura e registri differenti (ad es., analisi del sentiment rispetto al recupero multi-hop) interferiscono in modo distruttivo quando gestiti da un unico encoder condiviso.
2. Corruzione da Sbilanciamento delle Classi: Lo squilibrio estremo delle classi nei dati di addestramento contamina le statistiche delle feature, causando una tendenza dei livelli di normalizzazione a orientare il modello verso la classe maggioritaria.
3. Mancanza di Condizionamento Esterno: Gli encoder standard mancano di un meccanismo per condizionare l'attenzione su conoscenza lessicale esterna e curata (ad es., indicatori stilometrici) che può essere scartata o sottoutilizzata durante il fine-tuning, specialmente quando la troncatura della sequenza distrugge le statistiche globali.

Metodologia: Il Framework SURGELLM
SURGELLM è un framework transformer unificato progettato per affrontare queste problematiche attraverso tre moduli dedicati e leggeri, integrati in un backbone encoder standard (ad es., BERT, RoBERTa).

1. Estrazione Chirurgica delle Feature:
   Il framework utilizza un "vocabolario chirurgico" composto da dieci gruppi di indicatori lessicali curati (ad es., polarità del sentiment, marcatori specifici degli LLM, segnali di recupero) più sei feature superficiali (conteggio parole, densità della punteggiatura, ecc.). Questi vengono calcolati sul testo completo, non troncato, per generare un vettore di feature a 16 dimensioni $s \in \mathbb{R}^{16}$.

2. Token di Prefisso Condizionati dal Task:
   Per iniettare direttamente i valori delle feature nel meccanismo di attenzione, il sistema preppone una sequenza di token strutturata a ogni input: [TASK:tk | F1:v1 | ... | F16:v16]. Questi token sono co-attesi da tutti i livelli del transformer, permettendo ai livelli inferiori di condizionare le feature lessicali sul contesto a livello di token.

3. Gate delle Feature Chirurgiche (Surgical Feature Gate):
   Un gate sigmoidale appreso, per dimensione, fonde la rappresentazione [CLS] condizionata dal task ($\tilde{h}$) con una proiezione non lineare del vettore delle feature chirurgiche ($s'$).

   • Meccanismo: Il gate calcola un peso di interpolazione $g \in (0,1)^d$ per ogni dimensione nascosta, consentendo al modello di mescolare selettivamente gli output semantici dell'encoder con le feature lessicali.
   • Sicurezza: Il gate è progettato per degenerare provabilmente in una funzione identità quando le feature non sono informative, garantendo che non danneggi le prestazioni qualora i segnali lessicali siano irrilevanti.

4. Normalizzazione Pesata per Istanza (IWN):
   Questa è l'innovazione principale che affronta lo sbilanciamento delle classi. La normalizzazione standard utilizza statistiche globali ($\bar{s}, \sigma$) calcolate sull'intero set di addestramento, che sono dominate dalla classe maggioritaria in dataset sbilanciati. L'IWN sostituisce queste con statistiche bilanciate per classe ($\bar{s}_{bal}, \sigma_{bal}$), calcolate come la media delle statistiche per classe.

   • Effetto: Questo rimuove il bias del prior di classe dalla distribuzione delle feature senza richiedere etichette al momento del test. Agisce come una correzione delle statistiche delle feature ortogonale alle correzioni lato perdita o lato campionamento.

Contributi Chiave

• Framework Unificato: Un encoder multi-task compatibile con plug-in che integra gate delle feature per dimensione, token di prefisso condizionati dal task e IWN.
• Garanzie Teoriche:
  • Un limite del rischio eccessivo (Teorema 1) che lega il beneficio del gate all' "allineamento delle feature chirurgiche" ($\rho_k$).
  • Un risultato di degenerazione (Proposizione 2) che dimostra che il gate è sicuro (degenera in identità) quando le feature non sono informative.
• Normalizzazione Innovativa: L'introduzione di IWN, una correzione delle statistiche delle feature specificamente per il gating NLP aumentato, che è ortogonale alle esistenti correzioni di perdita o campionamento.
• Ricetta di Auto-Estrazione: Un metodo che utilizza log-odds e clustering di embedding per recuperare il 99,5% delle prestazioni della cura manuale, consentendo il trasferimento del vocabolario chirurgico a nuovi domini senza sforzo manuale.

Risultati Sperimentali
Il framework è stato valutato su quattro compiti eterogenei (SST-2 sentiment, HotPotQA multi-hop retrieval, attribuzione di prompt LLM e rilevamento di autore umano/LLM) coinvolgendo 17.830 esempi e undici varianti di modello (DistilBERT, BERT, RoBERTa, ALBERT, T5-base) su tre seed.

• Prestazioni: La variante SURGELLM-IWN utilizzando RoBERTa ha raggiunto un macro-F1 aggregato di 0,940. Ciò rappresenta un miglioramento di +0,036 rispetto al più forte baseline non-IWN e un guadagno assoluto di +0,130 sul compito di rilevamento dell'autore (D4), il dataset più difficile e sbilanciato.
• Studi di Ablazione:
  • Rimuovendo l'IWN si è verificata una regressione delle prestazioni su D4 (da 0,892 a 0,711), confermando che il solo gate è insufficiente senza una normalizzazione bilanciata.
  • Un controllo con vocabolario casuale ha prodotto un calo medio di F1 di -0,028 rispetto al vocabolario curato, confermando che i guadagni derivano dal contenuto lessicale e non dal semplice aumento del numero di parametri.
  • T5-base (220M di parametri) è stato competitivo ma non dominante, evidenziando come i compiti strutturalmente eterogenei beneficino più dell'iniezione esplicita di feature di SURGELLM piuttosto che di un'architettura generica text-to-text.
• Efficienza: SURGELLM-IWN-RoBERTa è Pareto-efficiente, raggiungendo il più alto F1 medio con un overhead di tempo di addestramento di soli ~4,0x rispetto al baseline, pur utilizzando significativamente meno parametri rispetto a T5-base.

Significatività e Rivendicazioni
L'articolo sostiene che SURGELLM dimostri il valore di rivedere l'NLP neurale aumentato da feature non come un retaggio dell'era pre-transformer, ma come un canale laterale principato che integra le rappresentazioni contestuali.

• Lessicale vs. Parametrico: I risultati confermano che gli indicatori lessicali espliciti, quando opportunamente gated e normalizzati, forniscono segnali che il solo fine-tuning non riesce a catturare, specialmente in compiti con segnali superficiali disgiunti.
• Precondizionamento Statistico: Il successo di IWN evidenzia che i priori architettonici (il gate) devono essere declassati dal precondizionamento statistico (sbilanciamento delle classi nelle statistiche delle feature) affinché possano funzionare efficacemente.
• Scalabilità: Il framework è progettato per essere leggero e scalabile, con il numero di parametri del gate che è lineare nella dimensione nascosta e asintoticamente trascurabile rispetto all'encoder.

Gli autori concludono che, sebbene l'attuale lavoro sia limitato all'inglese e agli encoder di scala base, il "gate chirurgico" rappresenta un canale vitale per integrare la conoscenza esterna, suggerendo l'esistenza di altri canali simili.