Riepilogo Tecnico: UTS al PsyDefDetect

Definizione del Problema

Il documento affronta il compito condiviso PsyDefDetect presso BioNLP 2026, che richiede la classificazione degli enunciati target nei dialoghi di supporto emotivo in nove livelli della Defense Mechanism Rating Scales (DMRS). La DMRS è uno strumento clinico gerarchico che va dal Livello 1 (difese basate sull'azione) al Livello 7 (adattamento altamente adattivo).

La sfida fondamentale è duplice:

1. Ambiguità Contestuale: I meccanismi di difesa sono definiti dalla funzione psicologica piuttosto che dalla forma linguistica. La stessa espressione superficiale può indicare livelli diversi a seconda del contesto (ad esempio, riconoscere una difficoltà senza risposta emotiva può indicare il Livello 6 Isolamento dell'Affetto piuttosto che il Livello 7 Adattamento Adattivo).
2. Squilibrio Severo delle Classi: Il dataset presenta un effetto "Attrattore L7", dove il Livello 7 (Altamente Adattivo) costituisce il 51,9% dei dati di addestramento, mentre le classi di difesa di livello inferiore (L1–L5) collettivamente rappresentano solo il 21,5%. Ciò porta i Large Language Models (LLM) a sovrastimare la classe maggioritaria, scambiando l'impegno emotivo per adattamento adattivo.

Metodologia

Il sistema proposto, UTS al PsyDefDetect, impiega un'architettura di consiglio deliberativo multi-fase potenziata da un ensemble di override mirati.

1. Consiglio Deliberativo Multi-Fase

Costruito sull'API Gemini 2.5, il sistema sostituisce il voto standard con un processo strutturato di valutazione delle prove:

• Fase 1 (Proposta): Tre agenti specialisti (Analista Clinico, Specialista dei Meccanismi, Analista dei Pattern) generano indipendentemente etichette candidate e alternative.
• Fase 2 (Difesa): Advocates specifici per classe valutano la forza delle prove per ciascuna etichetta candidata, classificandole come FORTE, MODERATA o DEBOLE. Questa fase utilizza esempi few-shot recuperati.
• Fase 3 (Risoluzione): Una funzione di risoluzione decide in base alla qualità delle prove piuttosto che al numero di voti. Una valutazione unica FORTE vince immediatamente; i pareggi sono risolti tramite un confronto diretto a coppie.

Codifica della Conoscenza Clinica:
Un componente critico è la codifica della gerarchia DMRS come spettro di integrazione affetto-cognizione. Il sistema ragiona su ciò che è assente (affetto mancante, cognizione bloccata, realtà negata) piuttosto che solo su ciò che è presente. Sono state implementate cinque regole a livello di prompt:

1. Integrazione di oltre 60 indicatori comportamentali DMRS-Q.
2. Distinzione tra emozione e difesa (ad esempio, "Mi sento triste" non è una difesa senza distorsione).
3. Preferenza per difese di livello inferiore (meno mature) nei casi ambigui.
4. Una lista di controllo per coppie di classi ad alta confusione.
5. Un cancello di verifica L7 che richiede un meccanismo adattivo nominato.

2. Recupero e Fine-Tuning

• Recupero: TF-IDF con Massima Rilevanza Marginale (MMR) è utilizzato nella Fase 1 per garantire la diversità, prevenendo l'aggregazione del contenuto emotivo che il recupero semantico potrebbe causare. L'esclusione basata sull'ID del dialogo è rigorosamente applicata per prevenire la fuoriuscita di dati di recupero (esempi dallo stesso dialogo).
• Fine-Tuning: Tre modelli Qwen3.5 (9B, 35B-A3B MoE e una variante specializzata da 9B) sono stati affinati utilizzando LoRA in quantizzazione a 4 bit.
  • Intervento Chiave: L'addestramento ha utilizzato una perdita solo sui completamenti (train_on_responses_only), calcolando la perdita solo sul token dell'etichetta. Ciò ha impedito al modello di sprecare aggiornamenti del gradiente sul completamento automatico del dialogo, aumentando l'accuratezza dal 25–55% al 59–65%.
  • Auto-Consistenza: L'inferenza comporta più esecuzioni (temperatura=0.3) per generare punteggi di confidenza.

3. Ensemble di Override Mirati

Per affrontare la tendenza del consiglio a essere "sicuramente errato" sulle classi minoritarie (in particolare l'attrattore L7), è stato sviluppato un sistema di override mirato:

• Override di Tipo A: Corregge le sovrastime di L7 quando un modello affinato mostra un'auto-consistenza ≥80% per una classe minoritaria e ciò è corroborato da un risolutore a coppie.
• Override di Tipo B: Corregge le confusioni da minoritaria a minoritaria quando ≥3 delle 6 fonti indipendenti concordano.
• Selezione Agente: La selezione degli override è stata gestita da un sistema strutturato multi-agente composto da un Costruttore (scansiona i candidati), un Critico (sostiene argomenti contro le proposte) e una Guardia di Regressione (rifiuta categoricamente le sottomissioni che falliscono i controlli strutturali). Questa decomposizione formale dei ruoli ha prodotto un guadagno F1 maggiore in una singola iterazione rispetto a otto precedenti tentativi ad hoc combinati.

Risultati Chiave

Il sistema ha ottenuto il 2º posto su 64 partecipanti (F1 0,406) nella classifica del compito condiviso.

• Impatto delle Regole Cliniche: L'integrazione delle regole di ragionamento clinico nel prompt ha fornito il singolo guadagno maggiore, aumentando l'F1 da 0,268 a 0,382 (+11,4 punti percentuali).
• Impatto degli Override: L'ensemble mirato di 16 override (7 di Tipo A, 9 di Tipo B) ha aggiunto +2,4pp al punteggio F1, portando il risultato finale a 0,406.
• Precisione: Il sistema ha raggiunto la precisione più alta (0,461) tra tutte le prime 5 squadre, riflettendo la natura conservativa della strategia di override.
• Analisi degli Errori:
  • Attrattore L7: Il 54% degli errori stabili sono state previsioni L7 errate.
  • Sicuramente Errato: Per le classi minoritarie (L3, L4, L6, L8), il 59–80% delle previsioni stabili era errato, mentre le previsioni instabili erano paradossalmente più accurate.
  • Overfitting: Le modifiche che miglioravano l'F1 sul set di addestramento hanno costantemente degradato le prestazioni sul test, indicando un overfitting del prompt.

Significato e Affermazioni

Il documento sostiene che l'insight principale per questo compito è che i meccanismi di difesa sono definiti da ciò che è assente. Codificare questo "ragionamento basato sull'assenza" nelle regole cliniche si è dimostrato più efficace rispetto ai cambiamenti architetturali o al scaling dei modelli.

Gli autori evidenziano che:

1. Decomposizione Formale dei Ruoli: Strutturare il processo di selezione degli override in ruoli distinti (Costruttore, Critico, Guardia) è stato più efficace dell'automazione da sola, prevenendo il bias di conferma e migliorando la qualità delle prove.
2. Strategia di Recupero: Per la selezione few-shot in condizioni di squilibrio delle classi, TF-IDF con MMR ha superato il recupero semantico evitando l'aggregazione del contenuto emotivo, preservando così la diversità delle classi.
3. Intervento di Addestramento: L'uso della perdita solo sui completamenti durante il fine-tuning è stato un intervento critico ad alto impatto che ha migliorato significativamente le prestazioni del modello su questo specifico compito di classificazione.

Il sistema è esplicitamente inquadrato come uno strumento di ricerca per l'analisi di costrutti psicologici nei dialoghi, non come strumento diagnostico clinico. Il lavoro rappresenta uno dei primi studi computazionali su larga scala che applica LLM alla classificazione gerarchica dei meccanismi di difesa in conversazioni terapeutiche naturalistiche.