From Baselines to Preferences: A Comparative Study of LoRA/QLoRA and Preference Optimization for Mental Health Text Classification

1. Il Problema

La classificazione del testo in ambito di salute mentale è un'applicazione ad alto impatto per l'identificazione precoce dei rischi e la priorità dei flussi di lavoro clinici. Tuttavia, la selezione del modello in questo dominio è diventata sempre più un problema di ottimizzazione piuttosto che una semplice scelta architetturale.
Esistono diverse strade di modellazione (metodi classici, encoder pre-addestrati, fine-tuning efficiente come LoRA/QLoRA, e ottimizzazione basata sulle preferenze come DPO/ORPO/KTO), ma la letteratura attuale spesso riporta questi approcci in contesti sperimentali eterogenei. Questo rende difficile distinguere quali miglioramenti siano strutturali e quali siano artefatti della configurazione. Manca una guida pratica su quale strategia di ottimizzazione utilizzare, quando e perché, specialmente considerando la sensibilità dei modelli alla distribuzione delle classi e alla configurazione di addestramento.

2. Metodologia

Lo studio presenta un confronto sistematico e controllato su un unico protocollo unificato, utilizzando il dataset DAIC-WOZ (interviste cliniche simulate) e il framework PHQ-4 per etichettare i segnali di ansia e depressione. L'obiettivo principale è una classificazione a 4 classi, con analisi secondarie su target binari derivati (ansia e depressione).

La metodologia segue una progressione deliberata in tre fasi:

• Fase 1: Baseline Classiche ed Encoder

  • Confronto tra XGBoost (modello a caratteristiche sparse) e tre encoder neurali (BERT-base, DistilBERT, RoBERTa).
  • Valutazione di due profili: Vanilla (configurazione standard) e Optimized (inferenza con scaling della temperatura).
  • Analisi della sensibilità alla dimensione della finestra contestuale (context window).

• Fase 2: Supervised Fine-Tuning (SFT) con LoRA/QLoRA

  • Adattamento efficiente dei parametri utilizzando LoRA e QLoRA.
  • Scomposizione delle variabili: confronto tra obiettivi discriminativi e generativi, diverse schema di output (solo etichetta, confidenza, razionale) e diversi ottimizzatori (AdamW, Adafactor, Adam8bit).
  • Confronto tra profili Vanilla e Optimized.

• Fase 3: Ottimizzazione delle Preferenze (Preference Optimization)

  • Valutazione di tre metodi: DPO (Direct Preference Optimization), ORPO (Odds Ratio Preference Optimization) e KTO (Kahneman–Tversky Optimization).
  • Test di due profili critici: Vanilla e Rebalanced (con intervento attivo per bilanciare le classi, cruciale per i dati sbilanciati della salute mentale).
  • Utilizzo di backbones LoRA e QLoRA per tutti i metodi.

Metriche di Valutazione: F1 macro, F1 pesato, Precisione macro e Recall macro. Vengono riportati sia i risultati "migliori" (best-run) che le medie per valutare la stabilità.

3. Risultati Chiave

• Baseline: BERT-base-uncased (ottimizzato) rimane il modello encoder più forte e stabile, superando leggermente XGBoost e gli altri encoder (DistilBERT, RoBERTa). La dimensione della finestra contestuale è un fattore determinante; le prestazioni degradano significativamente con finestre troppo grandi per alcuni modelli.
• SFT (LoRA/QLoRA):
  • L'obiettivo generativo supera costantemente quello discriminativo in termini di prestazioni medie e di picco.
  • Lo schema di output "label only" è il più robusto; schemi più complessi (confidenza, razionale) introducono variabilità senza garantire miglioramenti.
  • L'ottimizzazione (tuning) ha effetti misti: migliora alcune combinazioni discriminative ma non altera radicalmente la gerarchia generale.
• Ottimizzazione delle Preferenze:
  • Esiste una vasta variabilità tra i metodi. ORPO è il metodo più affidabile e performante.
  • DPO mostra prestazioni moderate ma beneficia enormemente del bilanciamento delle classi (rebalancing), specialmente con QLoRA.
  • KTO si dimostra inefficace per questo compito, mostrando prestazioni basse e stabili indipendentemente dal bilanciamento.
  • Il bilanciamento delle classi è un intervento ad alto impatto per ORPO e DPO, ma non per KTO.
• Confronto Trasversale (Headline):
  • La configurazione migliore in assoluto è ORPO con bilanciamento delle classi (F1 macro = 0.3798), che supera tutte le baseline encoder e le configurazioni SFT.
  • BERT ottimizzato rimane la baseline encoder più forte (F1 macro = 0.3518).
  • Le configurazioni SFT (LoRA/QLoRA) occupano una fascia intermedia stabile (F1 macro ~0.33-0.34).
• Trasferimento su Target Secondari: Le gerarchie osservate nel compito principale si mantengono coerenti per le analisi secondarie di ansia e depressione, confermando la robustezza dei metodi selezionati.

4. Contributi Principali

1. Narrativa di Ottimizzazione Chiara: Il paper non introduce un nuovo dataset, ma fornisce una guida empirica su come le scelte di ottimizzazione influenzino le prestazioni nella NLP per la salute mentale.
2. Protocollo Unificato: Per la prima volta, baseline classiche, SFT efficiente e ottimizzazione delle preferenze sono confrontate sotto lo stesso protocollo di valutazione, isolando gli effetti dell'architettura da quelli dell'ottimizzazione.
3. Analisi della Sensibilità: Dimostra che i guadagni non sono universali ma dipendono fortemente dall'interazione tra obiettivo, adattatore, ottimizzatore e bilanciamento dei dati.
4. Raccomandazione Pratica: Sconsiglia l'uso acritico dell'ottimizzazione delle preferenze. Suggerisce di iniziare da baseline trasparenti, applicare tuning controllato e utilizzare l'ottimizzazione delle preferenze (specificamente ORPO con bilanciamento) solo quando i benefici sono dimostrabili e consistenti.

5. Significato

Questo studio è fondamentale per i ricercatori e i praticanti nel campo della NLP applicata alla salute mentale. Sposta il focus dalla semplice ricerca di architetture "più grandi" alla comprensione delle dinamiche di ottimizzazione.
I risultati evidenziano che:

• I modelli encoder ben sintonizzati rimangono competitivi ed efficienti.
• L'ottimizzazione delle preferenze non è una "bacchetta magica"; la scelta dell'algoritmo (ORPO vs DPO vs KTO) e la gestione dello sbilanciamento dei dati sono decisive.
• La stabilità e la riproducibilità sono cruciali: le prestazioni di picco non devono essere l'unico criterio, ma è necessario considerare la media delle prestazioni su diverse configurazioni.

In sintesi, il paper offre un framework riproducibile e basato sull'evidenza per selezionare strategie di addestramento efficaci, sottolineando che la gestione dei dati (bilanciamento) e la scelta dell'obiettivo di ottimizzazione sono spesso più importanti della semplice scelta del modello di base.