Sintesi Tecnica: inversedMixup

Definizione del Problema

L'aumento dei dati è fondamentale per affrontare scenari a basse risorse nell'elaborazione del linguaggio naturale, tuttavia i metodi esistenti affrontano un compromesso fondamentale tra controllabilità e interpretabilità.

• Mixup Tradizionale: Opera interpolando linearmente gli input e le etichette nello spazio di embedding latente. Sebbene ciò offra una precisa controllabilità tramite il rapporto di miscelazione ($\lambda$), gli embedding interpolati risultanti mancano di interpretabilità umana. Di conseguenza, le frasi sintetizzate sono spesso illeggibili o semanticamente incoerenti, e il fenomeno dell' "intrusione del manifold" (dove gli input interpolati non si allineano con le etichette interpolate) è difficile da rilevare negli spazi discreti del testo.
• Augmentation basata su LLM: Genera frasi leggibili a livello di token tramite il prompting, offrendo un'alta interpretabilità. Tuttavia, il processo di generazione è guidato da istruzioni di prompt piuttosto che da vincoli strutturali espliciti, il che risulta in una limitata controllabilità sulla specifica fusione semantica dell'output.

Manca un framework unificato che combini la precisa controllabilità dell'interpolazione a livello di embedding con l'interpretabilità umana della generazione a livello di token.

Metodologia: inversedMixup

Gli autori propongono inversedMixup, un framework unificato che colma il divario tra gli spazi di embedding latenti e gli spazi di token discreti integrando il Mixup con l'inversione LLM. L'intuizione centrale è che gli LLM possono ricostruire il linguaggio naturale dagli embedding (inversione), permettendo agli embedding miscelati di essere decodificati in frasi interpretabili dall'uomo.

Il framework opera attraverso un processo di addestramento in tre fasi:

1. Allineamento dell'Adaptor (Non supervisionato)

Per colmare il divario tra lo spazio di output di un modello specifico per il compito ($M_\theta$) e lo spazio di input di un LLM generativo ($M_\psi$), viene addestrato un adaptor apprendibile ($A_\phi$).

• Dati: Testo non etichettato su larga scala e di dominio aperto ($X_U$).
• Processo: Il modello specifico per il compito codifica una frase di input $x$ in un embedding $h$. L'adaptor mappa $h$ nello spazio di input dell'LLM. L'LLM viene quindi istruito a ricostruire la frase originale $x$ a partire da questo embedding adattato.
• Obiettivo: Minimizzare la log-likelihood negativa della ricostruzione. Solo i parametri dell'adaptor vengono aggiornati; il modello del compito e l'LLM rimangono congelati.

2. Raffinamento dell'Adaptor (Warm-up supervisionato)

L'allineamento iniziale è insufficiente per compiti specifici perché la distribuzione degli embedding del modello specifico per il compito cambia durante il fine-tuning.

• Dati: Dati del target-task etichettati ($X_T, Y_T$).
• Processo: Il modello specifico per il compito e l'adaptor vengono raffinati iterativamente. Il modello del compito è ottimizzato per il compito di classificazione, e l'adaptor viene raffinato per garantire che l'LLM possa ancora ricostruire accuratamente le frasi partendo dagli aggiornati embedding specifici del compito.
• Obiettivo: Raggiungere un allineamento robusto tra lo spazio di embedding del modello specifico e lo spazio generativo dell'LLM, iniettando il bias induttivo specifico del compito.

3. Inversione degli Embedding Miscelati (Augmentation)

Una volta allineato, il framework genera campioni aumentati:

• Mixup: Due embedding di frasi ($h_i, h_j$) provenienti dal modello del compito vengono interpolati linearmente utilizzando un rapporto di miscelazione $\lambda \sim Beta(\alpha, \alpha)$ per creare un embedding miscelato $\tilde{h}$.
• Inversione: L'embedding miscelato viene passato attraverso l'adaptor raffinato e decodificato dall'LLM per generare una frase sintetica $\tilde{x}$.
• Etichettatura: Un'etichetta "soft" corrispondente $\tilde{y}$ viene calcolata tramite l'interpolazione lineare delle etichette originali.
• Mitigazione dell'Intrusione del Manifold: Gli autori osservano che gli embedding miscelati spesso soffrono di intrusione del manifold (la frase ricostruita non corrisponde semanticamente all'etichetta interpolata). Per mitigare questo problema, propongono di utilizzare l'LLM stesso per assegnare un'etichetta hard one-hot alla frase ricostruita $\tilde{x}$, sostituendo l'interpolata etichetta soft.

Contributi Chiave

1. Framework Unificato: La proposta di inversedMixup, che allinea un modello specifico per il compito con un LLM per invertire gli embedding miscelati. Questo rende il Mixup testuale sia controllabile (tramite $\lambda$) che interpretabile dall'uomo (tramite la ricostruzione LLM).
2. Evidenza Empirica dell'Intrusione del Manifold: Ricostruendo gli embedding miscelati in frasi leggibili, il framework fornisce la prima evidenza empirica dell'intrusione del manifold nel Mixup testuale. Gli autori dimostrano che gli embedding interpolati producono frequentemente frasi che non si allineano con la combinazione convessa delle loro etichette originali.
3. Strategia di Mitigazione: L'introduzione di una strategia semplice in cui l'LLM assegna etichette hard ai campioni generati, riducendo efficacementmente l'impatto negativo dell'intrusione del manifold.
4. Addestramento in Tre Fasi: Una pipeline pratica che coinvolge l'allineamento non supervisionato, il raffinamento supervisionato e l'augmentation basata sull'inversione che funziona sia in contesti few-shot che in contesti pienamente supervisionati.

Risultati Sperimentali

Gli autori hanno valutato inversedMixup su diversi dataset (Yahoo, TREC, AG News) sia in scenari few-shot (1, l 5, 10 shot) che in scenari pienamente supervisionati.

• Performance: inversedMixup ha superato costantemente i baselines di augmentation tradizionale (EDA, BT, Textsmooth, AWD, Mixup) e i baselines basati su LLM (LLM-Rew, LLM-Gen, LLM-Mix).
  • Ad esempio, sul dataset Yahoo con 1-shot, inversedMixup ha raggiunto un'accuratezza del 54,9% rispetto al 47,7% del modello base e al 51,6% del Mixup standard.
  • Su TREC con 1-shot, ha raggiunto il 41,6% contro il 36,8% (Base) e il 37,7% (Mixup).
• Significatività Statistica: I test di Wilcoxon signed-rank hanno confermato che i miglioramenti di inversedMixup rispetto a Mixup e LLM-Mix sono statisticamente significativi in diversi scenari few-shot.
• Generalizzabilità: Il metodo ha mostrato efficacia anche quando i dati di augmentation provenivano da domini non visti durante la fase iniziale di allineamento.

Significato e Rivendicazioni

Il paper sostiene che inversedMixup affronti una lacuna critica nell'augmentation dei dati testuali rendendo trasparente il processo di interpolazione latente.

• Osservabilità: Il significato primario è la capacità di "vedere" il fenomeno dell'intrusione del manifold nel testo, che precedentemente era oscurato dalla natura discreta del linguaggio e dall'opacità degli spazi latenti.
• Utilità Pratica: Il framework offre un metodo di augmentation robusto, controllabile e interpretabile che migliora le prestazioni del modello in ambienti con scarsità di dati senza richiedere complessi prompt engineering o sacrificare la capacità di controllare il rapporto di fusione semantica.
• Direzione Futura: Il lavoro stabilisce una base per osservare e mitigare i problemi di interpolazione dello spazio latente per l'NLP, suggerendo che colmare il divario tra spazi di embedding e di token sia una via percorribile per un'augmentation dei dati avanzata.