REZE: Representation Regularization for Domain-adaptive Text Embedding Pre-finetuning

1. Il Problema: Bias Indotto dal Task e Spostamento della Rappresentazione

I moderni modelli di embedding testuale vengono spesso adattati a domini specializzati (es. finanza, chimica, codice) attraverso una fase di pre-finetuning contrastivo su una raccolta eterogenea di dataset. Tuttavia, questo approccio presenta due criticità fondamentali:

• Conflitti tra Task: L'aggregazione ingenua di dataset con formati e obiettivi diversi (classificazione, recupero, NLI, ecc.) introduce un bias indotto dal task. Questo porta a conflitti di gradiente e a un "negative transfer", dove l'apprendimento di un task danneggia le prestazioni di un altro.
• Spostamento Non Controllato (Representation Shift): Il pre-finetuning su dati eterogenei tende a distorcere la geometria dello spazio di embedding pre-addestrato. Invece di preservare la struttura semantica generale, il modello si sposta verso configurazioni che catturano artefatti specifici dei singoli dataset, causando un degrado significativo delle prestazioni nei task a valle, specialmente in scenari con risorse limitate.

Le tecniche esistenti di regolarizzazione (come il whitening o i normalizing flows) sono spesso applicate post-hoc o in contesti a singolo task e non riescono a gestire efficacemente la complessità delle supervisioni eterogenee durante la fase di pre-finetuning.

2. Metodologia: REZE (Representation Regularization)

Gli autori propongono REZE, un framework di regolarizzazione delle rappresentazioni progettato per controllare attivamente lo spostamento della rappresentazione durante il pre-finetuning, senza aggiungere overhead computazionale al momento dell'inferenza.

Concetti Chiave e Meccanismo

1. Rappresentazioni di Relazione: Invece di operare sui singoli embedding, REZE lavora sulle relazioni definite come la concatenazione di coppie anchor-positive ($r = [a; p]$). L'ipotesi è che la conoscenza di dominio generalizzabile sia condivisa tra task eterogenei, mentre i bias specifici del task si manifestano come outlier nella struttura geometrica di queste relazioni.
2. Decomposizione nello Spazio degli Autovalori (Eigenspace):
   • Le relazioni vengono aggregate e sottoposte a Decomposizione agli Autovalori (EVD) della matrice di covarianza globale.
   • Questo permette di decomporre le rappresentazioni in componenti lungo direzioni specifiche (autovettori).
3. Rilevazione del Bias (Task-Variant Directions):
   • Per ogni direzione (autovettore), il metodo calcola la dispersione delle medie dei diversi dataset sorgente.
   • Utilizza una statistica robusta basata sulla mediana (invece della media) per identificare le direzioni "task-variant" (quelle in cui i dataset divergono significativamente, indicando rumore o bias specifico).
4. Soft-Shrinkage Adattivo:
   • Una volta identificate le direzioni di rumore, REZE applica un meccanismo di soft-shrinkage adattivo.
   • Questo meccanismo "restringe" selettivamente le componenti che deviano dalla consensuale globale, spingendo le rappresentazioni verso una direzione più stabile e condivisa, senza azzerarle completamente (a differenza dello hard-thresholding).
   • Le componenti "task-invariant" (struttura semantica generale) vengono preservate.
5. Funzione di Obiettivo:
   • Durante il training, viene aggiunta una perdita di regolarizzazione ($L_{reze}$) alla funzione di perdita principale (InfoNCE).
   • $L_{reze}$ misura la dissimilarità coseno tra la previsione corrente del modello e un target "debiasato" calcolato offline utilizzando le matrici di shrinkage pre-computate.

3. Contributi Chiave

• Controllo Attivo dello Spostamento: REZE è il primo metodo a controllare attivamente lo spostamento della rappresentazione durante il pre-finetuning su dati eterogenei, invece di correggerlo a posteriori.
• Separazione Conoscenza/Bias: Il framework riesce a decouplare la conoscenza di dominio condivisa (generalizzabile) dai bias specifici di ogni task, preservando la geometria originale dello spazio di embedding.
• Efficienza: Non richiede parametri aggiuntivi durante l'inferenza e le matrici di regolarizzazione sono pre-computate offline, garantendo zero overhead in fase di produzione.
• Robustezza Statistica: L'uso della mediana e della deviazione assoluta mediana (MAD) rende il metodo robusto rispetto a dataset outlier o di dimensioni ridotte, un problema comune nei benchmark di dominio specializzato.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre benchmark di dominio specializzato (FinMTEB, Code (MTEB), ChemTEB) utilizzando diversi backbone di embedding (E5, ModernBERT, GTE, Qwen3).

• Prestazioni Superiori: REZE supera costantemente il pre-finetuning standard (PFT) e il semplice fine-tuning (FT) diretto sul task target. In molti casi, il PFT standard performa peggio del FT diretto a causa del negative transfer, mentre REZE recupera e supera le prestazioni.
• Stabilità in Scenari Low-Resource: REZE dimostra una stabilità eccezionale quando il numero di campioni di training è basso (es. 100 campioni), dove i metodi basati su whitening o flussi normalizzanti falliscono o degradano le prestazioni.
• Analisi dello Spazio di Embedding:
  • Isotropia: REZE migliora significativamente l'IsoScore (misura di uniformità dello spazio), indicando una distribuzione più isotropa e bilanciata rispetto al PFT standard.
  • Geometria Controllata: Le visualizzazioni mostrano che REZE mantiene le rappresentazioni allineate alla varietà (manifold) originale pre-addestrata, prevenendo la distruzione della struttura semantica che avviene con il PFT non regolarizzato.
• Fallimento dei Baseline: I metodi di post-processing come Whitening e Normalizing Flow hanno mostrato prestazioni scadenti, specialmente su ChemTEB, a causa della distorsione delle informazioni spaziali quando applicati su modelli non familiari al dominio o su dati limitati.

5. Significato e Implicazioni

Il lavoro di REZE evidenzia che, per l'adattamento di modelli di embedding a domini specifici con supervisione eterogenea, controllare lo spostamento della rappresentazione è più cruciale del semplice forzare l'isotropia.

• Paradigma di Adattamento: Sposta il focus dalla semplice aggregazione di dati multi-task alla gestione attiva dei conflitti tra task durante l'apprendimento.
• Praticità Industriale: Essendo un metodo che non richiede overhead inferenziale e funziona su vari backbone, è immediatamente applicabile in scenari reali dove i dati di dominio sono frammentati e le risorse computazionali sono limitate.
• Fondamento Teorico: Dimostra che la regolarizzazione delle rappresentazioni basata su statistiche robuste nello spazio degli autovalori è un principio chiave per costruire embedding robusti e generalizzabili.

In sintesi, REZE risolve il dilemma del "pre-finetuning su dati eterogenei" trasformando un processo potenzialmente distruttivo in un meccanismo di apprendimento robusto, preservando la geometria semantica originale mentre assimila la conoscenza di dominio specifica.