Sintesi Tecnica: Scorciatoie Morfologiche degli LLM in Farmacologia

Definizione del Problema

I Large Language Models (LLM) generalizzano frequentemente a partire dalla struttura morfologica delle parole (prefissi, suffissi e radici) per inferire il significato. Sebbene questa capacità rispecchi l'elaborazione linguistica umana, essa pone significativi rischi per la sicurezza in domini ad alta criticità come la farmacologia. In medicina, la nomenclatura dei farmaci è altamente sistematica; il sistema dei Nomi Internazionali Non Proprietari (INN) dell'Organizzazione Mondiale della Sanità standardizza gli affissi per segnalare specifiche classi farmacologiche o chimiche. Questo articolo investiga se gli LLM si affidino a queste "scorciatoie" morfologiche per generare contenuti clinici fittizi, sicuri e plausibili, portando potenzialmente a pericolose sovra-generalizzazioni e allucinazioni. A differenza del lavoro precedente focalizzato sulla produttività linguistica, questo studio esamina le conseguenze reali di tali inferenze in contesti medici sensibili alla sicurezza.

Metodologia

1. Stimoli e Costruzione del Dataset

Gli autori hanno costruito un dataset controllato utilizzando 655 affissi medici dalla lista dell'American Medical Association (AMA). Hanno creato tre condizioni di stimolo parallele per ogni affisso:

• Farmaci Reali: Medicinali attestati (es. ampicillin).
• Farmaci Finti: Radici nonce (inventate) combinate con affissi farmacologici reali (es. dimicillin, dove "dimi-" è una radice nonce e "-cillin" è un affisso antibiotico reale).
• Parole Nonce: Radici nonce combinate con affissi nonce di lunghezza corrispondente (es. dimiglimto), che fungono da controllo privo di morfologia farmacologica.

2. Analisi Comportamentale

Lo studio ha valutato nove LLM (tra cui Llama-3.1, Gemini, GPT-5-mini, OLMo, Qwen2.5 e varianti specializzate in medicina) attraverso due compiti:

• Scelta Multipla (MC): I modelli selezionano tra una definizione coerente con l'affisso, distrattori e un'opzione "farmaco inesistente".
• Domanda Aperta (OE): I modelli rispondono a query utente naturali (es. "{farmaco} è efficace per trattare {condizione}?"). Un giudice LLM (Claude-Sonnet-4.5) ha valutato se le risposte trattassero i farmaci fittizi come reali.

3. Framework Diagnostico

Per determinare la fonte della conoscenza di un modello (affisso, radice o olistica), gli autori hanno introdotto un framework basato su perturbazioni. Per ogni farmaco reale ($RR$), hanno generato varianti sostituendo la radice ($NR$), l'affisso ($RN$) o entrambi ($NN$) con forme nonce. Hanno definito tre punteggi normalizzati:

• Punteggio dell'Affisso: Il contributo dell'affisso da solo alla predizione del modello.
• Punteggio della Radice: Il contributo della radice da sola.
• Punteggio Olistico: L'effetto di interazione (sinergia) tra la radice e l'affisso corretti.

4. Analisi Meccanicistica

Utilizzando l'activation patching e la Distributed Alignment Search (DAS) su OLMo-3-7B-Instruct e Qwen2.5-7B-Instruct, gli autori hanno localizzato i meccanismi causali che guidano il comportamento dipendente dall'affisso. Hanno misurato come il ripristino dei segnali morfologici in input corrotti influenzasse le probabilità dei token target e hanno identificato direzioni sterzabili nelle rappresentazioni interne del modello.

Risultati Chiave

Risultati Comportamentali

• Generalizzazione Guidata dall'Affisso: I modelli hanno trattato costantemente i farmaci fittizi (Fake) come reali, selezionando definizioni coerenti con l'affisso e generando contenuti clinici sicuri. Questo comportamento è stato significativamente più forte rispetto alle risposte alle parole Nonce, confermando che le strutture di affisso valide guidano l'accettazione.
• Varianza dei Modelli: I modelli medici specializzati (es. Meditron3-7B, HuatuoGPT) hanno mostrato la più forte sovra-generalizzazione, trattando spesso gli input Fake, Real ed anche Nonce in modo simile come farmaci validi. I modelli più grandi (es. Llama-3.1-70B) hanno mostrato una generalizzazione più forte nei compiti a scelta multipla.
• Ragionamento Silenzioso: Nel compito MC, i modelli hanno frequentemente selezionato definizioni coerenti con l'affisso senza menzionare esplicitamente l'affisso nelle loro spiegazioni. Ciò suggerisce che i segnali morfologici operino implicitamente, con le spiegazioni superficiali che servono come razionalizzazioni post-hoc.
• Conflazione Fattuale: Nei compiti OE, i modelli hanno spesso conflato le proprietà tra diversi farmaci che condividono lo stesso affisso (es. attribuendo i meccanismi di un farmaco "-ciclib" a un altro), portando a consigli medici plausibili ma fattualmente errati.

Risultati del Framework Diagnostico

• Prevalenza della Dipendenza dall'Affisso: In 653 farmaci, una grande proporzione del comportamento del modello era guidata principalmente dai segnali dell'affisso piuttosto che dalla conoscenza specifica del farmaco.
• Dipendenza dal Task: Nei compiti MC, i modelli si sono affidati pesantemente alla semantica dell'affisso per la categorizzazione. Nei compiti OE, la dipendenza si è spostata verso la conoscenza olistica, sebbene persistano errori guidati dall'affisso.
• Correlazione con l'Addestramento: I segnali olistici correlavano positivamente con la frequenza del farmaco nel corpus di addestramento, mentre i segnali morfologici (affisso/radice) mostravano correlazioni negative, suggerendo che i farmaci a bassa frequenza siano più suscettibili alle scorciatoie morfologiche.

Risultati Meccanicistici

• Localizzazione: L'activation patching ha rivelato che le euristiche guidate dall'affisso sono localizzate nei livelli iniziali-intermedi (circa i livelli 2–10) del transformer.
• Meccanismo a Due Stadi: L'informazione dell'affisso viene prima integrata nella rappresentazione del soggetto nei livelli iniziali e successivamente propagata al token di predizione finale.
• Controllo Causale: La DAS ha identificato direzioni a basso rango in questi livelli iniziali-intermedi che potevano modulare bidirezionalmente la dipendenza dall'affisso. Sterzare queste direzioni poteva invertire le predizioni del modello da "coerente con l'affisso" a "inesistente" e viceversa, confermando un legame causale.
• Dinamiche di Addestramento: I segnali di classe guidati dall'affisso sono emersi precocemente durante l'addestramento e si sono generalizzati robustamente ai farmaci finti, mentre le rappresentazioni olistiche sono emerse più tardi e sono rimaste legate a identità di farmaci specifici.

Significato e Rivendicazioni

L'articolo sostiene che le scorciatoie morfologiche rappresentano un rischio sottile ma misurabile per l'affidabilità degli LLM in contesti medici. Le rivendicazioni chiave includono:

1. Natura Sistematica: Le scorciatoie guidate dall'affisso non sono errori casuali ma comportamenti sistematici in cui i modelli inducono il significato del farmaco principalmente attraverso segnali morfologici, spesso senza indicazione esplicita.
2. Implicazioni per la Sicurezza: Queste scorciatoie permettono agli LLM di generare contenuti clinici sicuri e dall'aspetto plausibile per farmaci inesistenti, portando potenzialmente a disinformazione pericolosa. La dipendenza dalla morfologia è spesso invisibile al livello dell'output, rendendo difficile la rilevazione tramite audit standard dell'output.
3. Trasparenza Meccanicistica: Lo studio dimostra che questi comportamenti possono essere localizzati meccanicamente e controllati causalmente utilizzando l'interno del modello, offrendo un bersaglio per futuri interventi di sicurezza e strumenti di auditing.
4. Limitazioni: Gli autori notano che il loro framework diagnostico richiede l'accesso alle probabilità dei token (logits), limitando l'analisi ai modelli open-source o trasparenti. Inoltre, gli esperimenti meccanicistici sono stati condotti su modelli di scala 7B, e la generalizzabilità ad architetture più grandi rimane una questione aperta.

Il lavoro fornisce un framework per l'audit del comportamento degli LLM medici e sottolinea la necessità di distinguere tra genuina conoscenza farmacologica ed estrapolazione della forma superficiale in applicazioni critiche per la sicurezza.