Riepilogo Tecnico: "Possono gli LLM classificare? Un racconto di triadi e triage"

Definizione del Problema

I Large Language Models (LLM) vengono sempre più spesso impiegati come "giudici" per compiti di allocazione di risorse ad alto rischio, come la priorità per l'alloggio di emergenza o il triage dei pazienti nei dipartimenti di emergenza. Sebbene gli LLM dimostrino un ragionamento sofisticato, i loro output sono sensibili all'ordine di presentazione e al framing del prompt, il che li rende fragili per la classificazione di grandi gruppi simultaneamente. Una comune strategia di mitigazione, basata sulla teoria della scelta sociale, consiste nell'estrarre confronti a coppie e aggregarli in un ordine totale.

Tuttavia, rimane una lacuna critica: i professionisti mancano di un metodo affidabile per valutare se i giudizi a coppia di un LLM siano sufficientemente coerenti da poter essere considerati affidabili prima del dispiegamento. La letteratura esistente spesso tratta le metriche di coerenza e l'accuratezza della classificazione come questioni separate, fallendo nell'esplorare la relazione tra coerenza intra-run (la coerenza logica interna di un singolo set di giudizi) e varianza inter-run (la stabilità del risultato della classificazione attraverso più esecuzioni). Questo articolo investiga se questi due assi di affidabilità siano indipendenti e come si comportino sia in applicazioni LLM sintetiche che nel mondo reale.

Metodologia

Framework Teorico

Gli autori propongono una tassonomia $2 \times 2$ della affidabilità della classificazione definita da due assi indipendenti:

1. Coerenza Intra-Run (IC): Misurata tramite il Coefficiente di Coerenza ($\zeta$). Originariamente sviluppato da Kendall e Smith, $\zeta$ quantifica l'affidabilità del giudice contando le triadi circolari (triplette $\{a, b, c\}$ dove $a \succ b \succ c \succ a$) in un grafo di torneo. Un valore di $\zeta = 1$ indica una perfetta transitività, mentre $\zeta = 0$ indica la massima ciclicità. Il documento deriva il comportamento asintotico di $\zeta$ all'aumentare del numero di candidati $n$, mostrando che dipende dal tasso di incoerenza $r$ e da un fattore di scala.
2. Varianza Inter-Run (IV): Misurata tramite la distanza di Kendall's $\tau$ tra le classificazioni generate da esecuzioni indipendenti dello stesso processo. Ciò cattura la stabilità della classificazione finale.

Gli autori caratterizzano teoricamente la relazione tra $n$, $\zeta$ e $\tau$ sotto il modello Bradley-Terry-Luce (BTL), un modello generativo standard per i confronti a coppia con una verità fondamentale nota.

Disegno Sperimentale

Lo studio valuta queste metriche attraverso due domini:

• Allocazione di Alloggi per Senza Tetto: Utilizzando record di ingresso coordinato di St. Louis (VI-SPDAT, V-SPDAT, TAY-VISPDAT) per adulti singoli, famiglie e giovani in transizione.
• Triage del Pronto Soccorso: Utilizzando dati MIMIC-IV con etichette dell'Emergency Severity Index (ESI).

Modelli: Tre modelli leader sono stati testati localmente: Meta-Llama-3-8B-Instruct, DeepSeek-R1-Distill-Llama-8B e Qwen2.5-7B-Instruct.

Procedura:

1. Valutazione del Sottotorno: Per ogni dataset, è stato generato un sottotorno completo di $m=30$ elementi ($435$ confronti a coppia per modello). $\zeta$ è stato calcolato esattamente, e l'auto-coerenza ($\tau_{cons}$) è stata misurata tramite campionamento bootstrap.
2. Pipeline Sparsa Completa: La pipeline è stata eseguita su set più ampi ($n$ fino a 698) con una probabilità di campionamento dei bordi $p=0.4$ per simulare i vincoli del mondo reale. Gli autori hanno misurato come $\hat{\zeta}$ (stimato da dati sparsi) e $\tau_{cons}$ scalassero con $n$.

Contributi Chiave

1. Caratterizzazione Teorica di $\zeta$: Il documento prova che sotto il modello BTL con discriminabilità fissa, il tasso di incoerenza $r$ diminuisce come $\Theta(1/n^2)$, causando la convergenza di $\zeta$ verso 1 all'aumentare di $n$. Ciò stabilisce un baseline teorico in cui la coerenza migliora con la scala.
2. Disaccoppiamento degli Assi di Coerenza: Attraverso esperimenti sintetici, gli autori dimostrano che $\zeta$ e $\tau_{cons}$ sono correlati ma non ridondanti. Nello specifico, $\zeta$ misura la qualità del segnale di confronto (intransitività), mentre $\tau_{cons}$ dipende sia dalla qualità del segnale che dalla quantità di confronti disponibili per ogni elemento.
3. Divergenza Empirica nei Dati Reali: Contrariamente al modello BTL, i dati reali generati dagli LLM mostrano un tasso di incoerenza costante ($r$) all'aumentare di $n$. Di conseguenza, $\zeta$ si stabilizza vicino a un pavimento asintotico invece di migliorare, mentre $\tau_{cons}$ continua ad aumentare con $n$ a causa dell'accumulo di punti dati.
4. Profili di Performance Specifici per Modello: Lo studio rivela che nessun singolo LLM domina entrambi gli assi.
   • LLaMA: Raggiunge costantemente la più alta coerenza intra-run ($\zeta$) ma presenta una minore stabilità inter-run.
   • Qwen: Raggiunge la più alta stabilità inter-run ($\tau_{cons}$) ma ha la più bassa coerenza intra-run.
   • DeepSeek: Tipicamente occupa una posizione intermedia su entrambe le dimensioni.

Risultati

• Comportamento Sintetico vs. Reale: Nei dati sintetici BTL, $\zeta$ aumenta con $n$. Nei dati reali generati da LLM, $\zeta$ rimane approssimativamente costante attraverso diversi valori di $n$, indicando che il tasso di incoerenza $r$ non diminuisce con la scala come previsto dai modelli idealizzati.
• Utilità Diagnostica: Lo stimatore sparso $\hat{\zeta}$ è mostrato come non distorto attraverso diverse probabilità di osservazione ($p$), consentendo ai professionisti di stimare la qualità del confronto anche con dati incompleti.
• Trade-off: Il documento evidenzia un critico trade-off: un modello con un alto $\zeta$ (LLaMA) può produrre classificazioni che sono internamente logiche ma instabili tra le esecuzioni, mentre un modello con un alto $\tau_{cons}$ (Qwen) può produrre classificazioni stabili ma internamente intransitive.

Significato e Rivendicazioni

Il documento sostiene che affidarsi a una singola metrica (sia $\zeta$ che $\tau_{cons}$) sia insufficiente e potenzialmente fuorviante per valutare l'affidabilità degli LLM in compiti di classificazione ad alto rischio.

• Assi Indipendenti: Gli autori affermano che la coerenza intra-run e la varianza inter-run sono assi di affidabilità genuinamente indipendenti. Un sistema può essere internamente coerente ma instabile (bassa IV, alta IC), o stabile ma internamente intransitivo (alta IV, bassa IC).
• Protocollo Diagnostico Pratico: Il documento propone un diagnostico a due fasi per i professionisti:
  1. Eseguire un piccolo sottotorno completo per calcolare $\zeta$. Se $\zeta$ è basso, il processo di confronto è fondamentalmente intransitivo, e nessuna quantità di dati aggiuntivi risolverà la classificazione.
  2. Se $\zeta$ è alto ma $\tau_{cons}$ è basso, il problema è la quantità insufficiente di dati, non la qualità del segnale; la soluzione è aumentare la frazione di campionamento piuttosto che cambiare il modello.
• Selezione del Modello: I risultati suggeriscono che la selezione del modello deve essere specifica per il dominio. Se uno stakeholder privilegia la coerenza logica dei singoli giudizi, LLaMA potrebbe essere preferito. Se privilegia la stabilità dell'output finale tra le esecuzioni, Qwen potrebbe essere preferito.

Il documento conclude che la tassonomia proposta fornisce un quadro necessario per andare oltre le semplici metriche di accuratezza verso una comprensione più sfumata dell'affidabilità dell'IA nei processi decisionali consequenziali.