💬 NLP

Prompting from the bench: Large-scale pretraining is not sufficient to prepare LLMs for ordinary meaning analysis

Questo articolo sostiene che il preaddestramento su larga scala da solo è insufficiente per preparare i grandi modelli linguistici a un'analisi affidabile del "significato ordinario" in ambito giuridico, poiché evidenze empiriche rivelano che le loro conclusioni mancano di robustezza di fronte a lievi variazioni del prompt e mostrano una correlazione solo moderata con i giudizi umani, rendendoli inadatti a un uso autorevole in contesti giudiziari ad alto rischio.

Autori originali: Abhishek Purushothama, Junghyun Min, Brandon Waldon, Nathan Schneider

Pubblicato 2026-05-15

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Abhishek Purushothama, Junghyun Min, Brandon Waldon, Nathan Schneider

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un giudice in un'aula di tribunale che cerca di capire quale sia il significato reale di una parola ambigua in una legge per la persona media. Ad esempio, una clausola contrattuale come "giardinaggio" include la costruzione di un trampolino? Tradizionalmente, i giudici potrebbero chiedersi: "Cosa penserebbe il mio vicino?" o consultare un dizionario.

Recentemente, alcuni esperti legali e giudici hanno iniziato a chiedere ai Modelli Linguistici su Grande Scala (LLM)—lo stesso tipo di intelligenza artificiale che alimenta i chatbot—di rispondere a questa domanda. L'idea è: "Se un'IA ha letto quasi tutto ciò che è mai stato scritto su Internet, deve sapere esattamente come le persone comuni usano le parole, vero?"

Questo articolo descrive un esperimento ampio e accurato per verificare se tale idea sia vera. I ricercatori hanno agito come "critici severi" seduti in tribunale, sottoponendo questi modelli di IA a un rigoroso test di stress. Ecco cosa hanno scoperto, spiegato in modo semplice:

1. Il Problema dell'"Orologio Rotto"

I ricercatori hanno chiesto a 15 diversi modelli di IA (dai più piccoli al massiccio GPT-4) di decidere se 138 diversi scenari assicurativi fossero coperti o meno.

La Scoperta: Alcuni dei modelli di IA erano come un orologio rotto bloccato su "No". Indipendentemente di cosa trattasse la storia, davano esattamente la stessa risposta ogni singola volta.
La Metafora: Immagina di chiedere a un meteorologo: "Sta piovendo?". Se risponde "Sì" per una giornata di sole, per una giornata nuvolosa e per una tempesta di neve, non sta effettivamente guardando il cielo. Sta solo ripetendo una sceneggiatura. Diversi modelli di IA hanno fatto esattamente questo, fallendo nel "leggere" effettivamente i dettagli specifici del caso legale.

2. Il "Trucco di Magia" del Prompting

I ricercatori hanno poi provato un trucco di magia: hanno posto la stessa identica domanda, cambiando solo il modo in cui l'hanno formulata.

Scenario A: "John è coperto? Sì o No?"
Scenario B: "John non è coperto? Sì o No?"
Scenario C: "Sei d'accordo che John sia coperto?"
La Scoperta: La risposta dell'IA oscillava selvaggiamente. In una versione della domanda, l'IA potrebbe essere sicura al 90% che John sia coperto. In una versione leggermente diversa (come aggiungere un "non" o invertire l'ordine delle opzioni), l'IA potrebbe diventare sicura al 90% che non sia coperto.
La Metafora: È come una scatola dei suggerimenti che cambia idea in base al colore della carta su cui scrivi. Se chiedi a un modello una domanda in un certo modo, risponde "Sì". Se gli poni la stessa domanda ma metti l'opzione "No" per prima, risponde "No". Questo significa che un avvocato potrebbe potenzialmente "fare shopping" per il prompt che gli dà la risposta desiderata, piuttosto che ottenere la verità.

3. Il "Traduttore" che Non Parla la Lingua

I ricercatori hanno confrontato le risposte dell'IA con ciò che pensavano effettivamente le persone reali (parlanti nativi di inglese).

La Scoperta: L'IA e gli umani erano solo moderatamente d'accordo. Anche i migliori modelli di IA (come GPT-4) avevano ragione circa l'83% delle volte solo se si sapeva esattamente come interpretare i loro punteggi di probabilità. Ma in un'aula di tribunale reale, non si ha la possibilità di sbirciare i punteggi; si riceve solo la risposta.
La Metafora: Immagina di assumere un traduttore per dirti cosa pensa una folla di persone. Se il traduttore ha ragione l'83% delle volte, sembra una buona cosa. Ma in un caso legale, sbagliare 1 volta su 6 è un disastro. È come un GPS che ti porta alla città giusta l'83% delle volte ma ti lascia in una palude nel restante 17%.

La Conclusione

L'articolo sostiene che il fatto che un'IA abbia letto molti dati (pre-addestramento su larga scala) non significa che comprenda come pensano le persone comuni.

Gli autori concludono che questi modelli di IA sono attualmente troppo fragili e inaffidabili per essere usati come parola definitiva nei casi legali. Non sono ancora fonti "autorevoli" di significato ordinario. Se un giudice si basa su di essi senza verificare il loro lavoro, potrebbe stare affidandosi a un orologio rotto o a una scatola dei suggerimenti che cambia idea in base alla dimensione del carattere.

In sintesi: L'IA è un parlante fluente, ma non è un pensatore affidabile quando si tratta di decidere cosa significano le parole per le persone comuni.

Sintesi Tecnica: Prompting dal banco: il preaddestramento su larga scala non è sufficiente a preparare i LLM all'analisi del significato ordinario

Enunciato del Problema

Il documento affronta la tendenza crescente nella pratica giudiziaria statunitense, secondo cui giudici e studiosi di diritto utilizzano i Modelli Linguistici di Grande Dimensione (LLM) per determinare il "significato ordinario" di testi legali, una metodologia interpretativa standard che chiede come un termine verrebbe compreso da un parlante inglese ordinario. I sostenitori, incluso il Giudice Federale Kevin Newsom, sostengono che la vasta scala dei dati di preaddestramento consente ai LLM di sintetizzare modelli statistici dell'uso del linguaggio ordinario in modo più efficace rispetto agli strumenti tradizionali come dizionari o sondaggi su piccola scala.

Gli autori mettono in discussione l'assunzione secondo cui il preaddestramento su larga scala e il perfezionamento tramite istruzioni siano sufficienti a produrre modelli capaci di un'analisi affidabile del significato ordinario. Essi ipotizzano che, senza una valutazione rigorosa, fare affidamento sui LLM per l'interpretazione legale ad alto rischio sia prematuro. Il problema centrale è duplice:

Robustezza: Se i giudizi dei LLM siano stabili attraverso piccole variazioni nella formulazione del prompt (una nota vulnerabilità nell'elaborazione del linguaggio naturale).
Correlazione: Se i giudizi dei LLM approssimino effettivamente il consenso interpretativo di lettori umani comuni, che è l'obiettivo delle indagini sul "significato ordinario".

Metodologia

Gli autori hanno condotto una valutazione empirica su larga scala che ha coinvolto 15 LLM (comprese varianti base e perfezionate tramite istruzioni di Llama-3, OLMo-2, Mistral, Gemma e GPT-2, insieme al chiuso GPT-4) attraverso 138 scenari di interpretazione legale.

Dati e Formulazione del Compito:

Scenari: Lo studio ha utilizzato 138 elementi derivati da controversie reali su contratti assicurativi (originariamente da Waldon et al., 2023). Ogni elemento presenta uno scenario ipotetico e un termine assicurativo specifico (ad esempio, "paesaggistica", "fonte interna") che richiede un giudizio binario: è il danno coperto ("Sì") o no ("No")?
Baseline Umana: Lo studio ha confrontato le uscite del modello con i giudizi umani di 1.338 parlanti nativi inglesi che hanno valutato gli stessi 138 scenari.
Varianti del Prompt: Per testare la robustezza, gli autori hanno applicato 9 varianti sistematiche di domanda a ogni elemento. Queste includevano:
- Ordinamento standard Sì/No e No/Sì.
- Negazione (ad esempio, "John non è coperto?").
- Inquadramento di accordo/disaccordo (ad esempio, "Sei d'accordo che...").
- Opzioni a scelta multipla (A/B) con ordini invertiti.
Misurazione:
- Robustezza: Misurata dalla coerenza dei giudizi categoriali (Coperto vs NonCoperto) attraverso le 9 varianti del prompt per ogni coppia modello-elemento.
- Correlazione Umana: Misurata utilizzando il coefficiente di determinazione ( $R^2$ ) tra la differenza di probabilità del modello ( $\Delta = p(\text{Coperto}) - p(\text{NonCoperto})$ ) e la proporzione di giudizi umani "Coperto". Gli autori hanno trattato la probabilità del token del modello come un proxy per il consenso della popolazione.

Contributi Chiave

Valutazione Sistematica dell'Interpretazione Legale: Questo lavoro fornisce la valutazione sperimentale più estesa di LLM per l'interpretazione legale a oggi, andando oltre i casi studio qualitativi o i test di parafrasi su piccola scala (ad esempio, Choi, 2025; Waldon et al., 2025) verso un dataset controllato e su larga scala.
Quantificazione della Sensibilità al Prompt: Gli autori dimostrano che i LLM mostrano una "mancanza di coerenza ubiqua" attraverso le varianti di domanda. Mostrano che cambiamenti triviali, come la negazione o l'ordinamento delle opzioni, possono causare spostamenti drastici nei giudizi del modello, permettendo efficacemente lo "shopping del prompt" per ottenere risultati desiderati.
Analisi della Correlazione Umana: Lo studio testa rigorosamente l'ipotesi dell'"onniscienza" (che la scala dei dati di addestramento equivalga a un'intuizione simile a quella umana). Risulta che anche i modelli con le prestazioni migliori mostrano solo una correlazione moderata con il consenso umano, e questa correlazione dipende fortemente dalle dimensioni specifiche del modello e dalle formulazioni del prompt.
Critica alla Pratica Giudiziaria Attuale: Il documento offre un contro-argomento empirico alle recenti opinioni giudiziarie che si affidano a query dirette ai LLM per il significato ordinario, suggerendo che i modelli attuali non soddisfano le condizioni necessarie di robustezza e allineamento umano per tale utilizzo.

Risultati Chiave

Instabilità e Bias:
- Orologi Fermi: Diversi modelli (6 su 15) hanno fornito lo stesso giudizio categoriale per oltre il 92% degli scenari, indipendentemente dal contenuto, comportandosi come "orologi fermi".
- Sensibilità al Prompt: In 2.061 su 2.070 combinazioni modello-elemento, il modello ha prodotto giudizi conflittuali attraverso le 9 varianti del prompt. Solo 9 combinazioni hanno mostrato piena unanimità.
- Negazione e Complessità: Le varianti che coinvolgono la negazione (ad esempio, "Disaccordo con Negazione") hanno frequentemente indotto giudizi di minoranza e causato i più grandi spostamenti distribuzionali (misurati dalla distanza Jensen-Shannon).
Correlazione con il Giudizio Umano:
- Correlazione Moderata: Solo modelli più grandi e perfezionati tramite istruzioni (specificamente 70B+ parametri) hanno mostrato una correlazione significativa con i giudizi umani, e anche allora, solo per specifiche varianti del prompt.
- Scenario Migliore: GPT-4 ha raggiunto la correlazione più alta ( $R^2 = 0.60$ ) con i giudizi umani sulla variante standard Sì/No. Tuttavia, ciò si è tradotto in un'accuratezza di un classificatore oracolo di solo l'83% (1 errore su 6), che gli autori ritengono insufficiente per l'interpretazione legale dove gli interessi in gioco sono elevati.
- Incoerenza: Per molti modelli, la correlazione era negativa o vicina allo zero. Alcuni modelli mostravano una forte correlazione nelle distribuzioni di probabilità ma producevano output categoriali fortemente distorti (ad esempio, prevedendo sempre "NonCoperto" nonostante i gradienti di probabilità suggerissero il contrario).
Dimensioni del Modello e Perfezionamento: Sebbene i modelli più grandi abbiano generalmente performato meglio, il perfezionamento tramite istruzioni ha introdotto bias imprevedibili, a volte spostando completamente i giudizi (ad esempio, i modelli Llama-8B perfezionati hanno prevalentemente previsto "NonCoperto", mentre i modelli Llama-70B perfezionati hanno previsto "Coperto").

Significato e Affermazioni

Il documento conclude che il preaddestramento su larga scala non è sufficiente a preparare i LLM all'analisi del significato ordinario. Gli autori sostengono che l'assunzione secondo cui i LLM possano illuminare in modo affidabile come le persone ordinarie usano le parole non è supportata da prove empiriche.

Divario di Affidabilità: I risultati evidenziano un "divario di affidabilità" in cui i modelli non sono coerenti o riproducibili, e un "divario epistemico" in cui le uscite del modello non misurano accuratamente il significato umano ordinario.
Cautela Giudiziaria: Gli autori avvertono esplicitamente contro l'approccio adottato dal Giudice Newsom e da altri che interrogano direttamente i LLM per risolvere questioni di significato ordinario. Affermano che la fragilità osservata (sensibilità alla formulazione del prompt) e la debole correlazione con il consenso umano rendono i LLM attuali inadatti come strumenti autorevoli per questo specifico compito legale.
Lavori Futuri: Il documento non afferma che i LLM non possano mai essere utilizzati per l'interpretazione legale, ma suggerisce che, se devono essere utilizzati, richiedono una validazione rigorosa oltre le capacità attuali. Notano che i nuovi modelli di "ragionamento" o sistemi con meccanismi di recupero non sono stati testati e potrebbero mitigare alcuni limiti, ma tali affermazioni richiedono ulteriore dimostrazione empirica. Le prove attuali, affermano, "falliscono spettacolarmente nel soddisfare l'onere della prova" per l'uso dei LLM come interpreti autorevoli del significato ordinario.