FOCUS: Decoupling Expert Personas in LLMs to Enhance Domain Expert Capabilities

Riepilogo Tecnico: FOCUS (Fine-tuning con Controllo Ortogonale per PersonaS Disaccoppiate)

Problematica
I Large Language Models (LLM) possiedono la capacità di esibire diverse "persona", e l'attivazione di specifiche "persona esperte" ha dimostrato di migliorare le prestazioni in compiti specifici del dominio, come il ragionamento matematico e l'ambito sanitario. Tuttavia, i metodi esistenti per il controllo delle persona soffrono spesso di un accoppiamento cross-dominio. Poiché gli LLM sono addestrati su dati misti, le rappresentazioni interne di diverse persona esperte (ad esempio, medica, legale, finanziaria) non sono indipendenti. Questo accoppiamento porta a conflitti comportamentali: una persona ottimizzata per un dominio può esibire tratti indesiderabili in un altro. Ad esempio, una persona "aggressiva" nel trading finanziario, se attivata accidentalmente in un contesto medico, potrebbe portare a risposte eccessivamente sicure di sé e ad alto rischio che compromettono la sicurezza del paziente. Viceversa, un'eccessiva cautela da parte di una persona medica potrebbe ostacolare il ragionamento sensibile al rischio nel trading finanziario. Gli approcci attuali, inclusi l'attivazione basata su prompt e il semplice steering vettoriale, non riescono a disaccoppiare questi fattori comportamentali contrastanti, risultando in prestazioni instabili e in un allineamento al dominio impuro.

Metodologia
Per affrontare tali limitazioni, gli autori propongono FOCUS, un framework progettato per disaccoppiare e controllare le persona esperte specifiche del dominio attraverso un processo in tre fasi:

1. Estrazione dei Vettori delle Persona Esperte:
   Gli autori hanno prima costruito una pipeline automatizzata per estrarre i vettori delle persona dallo stream residuo dell'LLM. Utilizzando prompt di sistema contrastivi (prompt positivi per elicitare il comportamento esperto rispetto a prompt negativi per sopprimerlo) e coppie domanda-risposta specifiche del dominio, hanno calcolato la differenza tra i vettori di attivazione medi dei set di risposte positivi e negativi. Ciò produce vettori candidati per esperti generali ($v_g$) e domini specifici: finanza ($v_f$), legge ($v_l$) e medicina ($v_m$).

2. Decomposizione Ortogonale (Disaccoppiamento):
   Per eliminare l'interferenza cross-dominio, il metodo applica l'ortogonalizzazione di Gram-Schmidt. Il vettore dell'esperto generale $v_g$ viene normalizzato per fungere da base ortogonale. Ogni vettore specifico del dominio viene poi proiettato su questa base, e la componente di proiezione viene sottratta. Questo processo rimuove l' "esperto generale" e le componenti condivise cross-dominio dai vettori specifici, producendo un insieme di vettori persona disaccoppiati e ortogonali ($q_g, q_f, q_l, q_m$) che rappresentano una pura competenza di dominio.

3. Addestramento in Due Fasi con Gating dell'Esperto:
   Un modulo di gating dell'esperto leggero viene inserito dopo lo strato sub-layer Feed-Forward Network (FFN) del Transformer. Questo modulo, composto da un MLP a due strati e una funzione Softmax, calcola dinamicamente i pesi ($\alpha$) per combinare i vettori delle persona disaccoppiati in base al contesto di input. L'addestramento segue una strategia in due fasi:

   • Fase 1 (Allineamento a Dominio Singolo): Il modello viene sottoposto a fine-tuning su dataset a dominio singolo con un regolarizzatore di selezione a gate. Questo termine di perdita incoraggia i pesi del gating a diventare sparsi (avvicinandosi a 1 per il dominio corretto e a 0 per gli altri), assicurando che il modello impari ad attivare il vettore della persona specifica per i compiti a dominio singolo.
   • Fase 2 (Generalizzazione Cross-Dominio): Il modello viene sottoposto a fine-tuning su un dataset misto contenente sia campioni a dominio singolo che campioni cross-dominio. Il regolarizzatore viene rimosso, permettendo al modello di apprendere combinazioni di pesi adattive per compiti complessi che richiedono molteplici prospettive esperte senza vincoli di selezione espliciti.

Contributi Chiave

• Identificazione dell'Instabilità di Accoppiamento: Il documento identifica che le persona esperte accoppiate portano a prestazioni instabili e conflitti comportamentali nei compiti di dominio a causa di requisiti contrastanti (ad esempio, cautela contro assunzione di rischio).
• Framework FOCUS: La proposta di un nuovo framework che combina la decomposizione ortogonale per disaccoppiare i vettori delle persona con un meccanismo di selezione a gate per attivarli in modo adattivo.
• Miglioramento delle Prestazioni: Dimostrazione che FOCUS migliora l'accuratezza delle risposte nei domini finanziario, legale e medico, così come negli scenari cross-dominio, superando i metodi esistenti di controllo delle persona e il normale supervised fine-tuning (SFT).

Risultati Sperimentali
Gli esperimenti sono stati condotti su benchmark tra cui la previsione azionaria (Finanza), LegalBench (Legge), Medicina Professionale (MedQA/MMLU) e dataset cross-dominio (MedEthicsQA, CUAD).

• Accuratezza: FOCUS ha costantemente superato i baseline, inclusi lo steering basato su prompt, lo steering durante l'inferenza e il normale SFT. In particolare, ha superato diversi modelli specifici di dominio (ad esempio, Finance-Chat, Law-Chat) che si affidano a dati di addestramento specifici del dominio su larga scala.
• Capacità Cross-Dominio: Nei compiti cross-dominio, FOCUS ha ottenuto i migliori risultati tra tutti i metodi confrontati, dimostrando la sua capacità di comporre efficacemente molteplici vettori di persona (ad esempio, combinando il ragionamento medico e legale).
• Studi di Ablazione:
  • Disaccoppiamento: La rimozione dello step di decomposizione ortogonale ha portato a un calo costante delle prestazioni, confermando che i vettori estratti grezzi contengono componenti interferenti.
  • Addestramento in Due Fasi: La rimozione di una qualsiasi delle due fasi (sparsità o adattamento) ha ridotto le prestazioni, indicando che sia l'attivazione focalizzata sul dominio singolo che la composizione flessibile cross-dominio sono necessarie.
  • Forza del Gating ($\gamma$): È stato individuato un fattore di scala ottimale ($\gamma=2$); valori troppo bassi non riuscivano a iniettare le caratteristiche della persona, mentre valori troppo alti causavano un "sovra-rinforzo della persona", portando a una perdita di generalizzazione.

Significatività
Il documento sostiene che FOCUS offre un nuovo approccio per l'adattamento efficiente del dominio per gli LLM. Disaccoppiando e controllando esplicitamente le rappresentazioni interne degli esperti, affronta l'instabilità causata dall'accoppiamento cross-dominio senza richiedere enormi quantità di dati specifici del dominio per il retraining. I risultati suggeriscono che il controllo strutturato sui vettori delle persona consente ai modelli di mantenere un'alta purezza nel ragionamento specifico del dominio, mantenendo al contempo la flessibilità necessaria per gestire compiti complessi e multifacettati, fornendo una direzione promettente per migliorare l'affidabilità degli LLM in domini ad alto rischio.