🤖 machine learning

Two Confounds in Cross-Model Value Comparison: Response Determinism and the Access Harness

Questo articolo identifica e corregge due confondenti critici nei confronti del valore tra modelli: il determinismo della risposta, che confonde le differenze di valore genuine con la nitidezza degli impegni a scelta forzata, e l'imbracatura di accesso, in cui gli strati client specifici per l'implementazione alterano significativamente il profilo di valore apparente di un modello, distorcendo di conseguenza le classifiche basate su misurazioni a singola estrazione.

Autori originali: Hong-In Won, Jinseok Jang, Hyoseop Kim

Pubblicato 2026-07-14

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Hong-In Won, Jinseok Jang, Hyoseop Kim

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di voler assaggiare due diverse marche di gelato per vedere quale sia più "dolce". Prendi una pallina del Marchio A e una pallina del Marchio B. Il Marchio A è alla vaniglia, e anche il Marchio B è alla vaniglia, ma il Marchio B è servito in un bicchierino minuscolo e super concentrato, mentre il Marchio A è in una ciotola gigante e soffice. Se assaggiassi solo un cucchiaino, il Marchio B potrebbe sembrare molto più dolce solo perché è intenso e concentrato, non perché il gelato stesso sia fondamentalmente diverso.

Questo è esattamente ciò che questo articolo scopre riguardo ai modelli di Intelligenza Artificiale (IA). Per molto tempo, i ricercatori hanno confrontato diversi modelli di IA ponendo loro una singola domanda: "Se dovessi scegliere tra l'Opzione A e l'Opzione B, quale sceglieresti?". Presupponevano che se il Modello X sceglieva A e il Modello Y sceglieva B, i due modelli avessero "personalità" o "valori" totalmente diversi.

Gli autori, Hong-In Won e Hyoseop Kim, dicono: "Aspettate un attimo. State misurando due cose diverse contemporaneamente e le state confondendo".

I Due Equivoci

1. La Confusione sulla "Decisione" (Determinismo)
Il primo equivoco riguarda quanto nettamente un modello si impegna in una risposta.
Immagina due persone che rispondono a un quiz.

Persona A è sicura al 100%. Urla "A!" ogni singola volta che glielo chiedi.
Persona B è un po' indecisa. Dice "A" il 60% delle volte e "B" il 40% delle volte.

Se interroghi loro solo una volta, e la Persona A dice "A" e la Persona B dice "B", potresti pensare che siano totali opposti. Ma non lo sono! Entrambi pendono verso "A". La Persona A è solo un fan di "A" rumoroso e deciso, mentre la Persona B è un fan di "A" silenzioso ed esitante.

L'articolo mostra che quando i ricercatori confrontano i modelli di IA usando una singola risposta (un "singolo prelievo"), accidentalmente contano questa "rumorosità" o "decisività" come una differenza di valori.

La Scoperta: Gli autori hanno testato nove diversi modelli di IA. Hanno scoperto che alcuni modelli sono incredibilmente decisi (come un modello chiamato GPT-5.5, che era 0,95 su una scala di quanto sia sicuro), mentre altri sono molto più sfumati (come il modello "Opus" di Anthropic, che era solo 0,34 quando misurato attraverso una specifica app).
Il Colpo di Scena: Questa "decisività" non è un tratto della personalità fisso che puoi indovinare solo guardando il nome del modello. In una famiglia di modelli, un modello più piccolo e meno costoso era in realtà più deciso del grande modello flagship più costoso. In un'altra famiglia, il modello più grande era più deciso. Gli autori suggeriscono che non si può assumere la "rumorosità" di un modello solo conoscendo chi lo ha creato o quanto sia grande; bisogna misurarlo ogni volta che lo si usa.

2. La Confusione del "Corriere" (L'Access Harness)
Il secondo equivoco è ancora più subdolo. Non riguarda il gelato; riguarda il camion che lo consegna. Gli autori si sono resi conto che il modo in cui poni una domanda all'IA cambia la risposta. Chiamano questo il "access harness" (l'imbracatura di accesso).

Immagina di ordinare una pizza. Se chiami direttamente la pizzeria (l'API "Raw"), ricevi la pizza esattamente come l'ha fatta lo chef.
Ma se ordini attraverso una specifica app di consegna (come una "CLI" o uno strumento in abbonamento), quell'app potrebbe aggiungere una nota alla cucina: "Falla extra piccante!" oppure "Non lasciare che il cliente dica di no".

Gli autori hanno scoperto che, per alcuni modelli di IA, il "corriere" (il software usato per parlare con l'IA) cambia completamente la personalità del modello.

La Prova: Hanno preso lo stesso modello di IA e hanno posto la stessa domanda due volte: una volta attraverso la connessione diretta e una volta attraverso una popolare app in abbonamento.
Il Risultato: Attraverso l'app in abbonamento, il modello "Opus" appariva molto debole e incerto (0,34). Ma quando lo hanno interrogato direttamente attraverso la connessione raw, era in realtà piuttosto deciso (0,66). L'app aveva "appiattito" la sua personalità.
Il Trucco del "Rifiuto": In un caso, la connessione diretta mostrava il modello che rifiutava di rispondere il 10% delle volte perché sentiva che la domanda fosse ingiusta. Ma l'app in abbonamento costringeva il modello a rispondere ogni volta, facendolo apparire compiacente. Gli autori hanno dimostrato che questo era causato da un "system prompt" nascosto (un insieme di istruzioni che l'app invia insieme alla domanda) che diceva al modello: "Scegli solo una lettera, non discutere".

Cosa Significa per la "Personalità" dell'IA

Quindi, cosa ha effettivamente dimostrato l'articolo?

Ha dimostrato che la "distanza" che vediamo tra i modelli di IA è spesso falsa. È un mix di quanto siano rumorosi e di quale software abbiamo usato per parlarci.
Ha dimostrato che il software che usiamo per parlare con l'IA (l' "harness") non è un tubo neutro; esso modella attivamente i valori dell'IA.
Suggerisce (ma non lo stabilisce del tutto) che la "decisività" varia enormemente tra i modelli e non segue una regola semplice come "i modelli più grandi sono più rumorosi".

Cosa NON è la risposta?
L'articolo esclude esplicitamente l'idea che si possa semplicemente guardare il nome di un modello e conoscerne i valori. Esclude anche l'idea che tutte le differenze tra i modelli siano solo "rumore".

La Buona Notizia: Anche dopo aver corretto questi due equivoci, gli autori hanno scoperto che alcuni modelli davvero sono in disaccordo. Ad esempio, un modello chiamato "Grok-3" punta davvero in una direzione diversa rispetto ai modelli di OpenAI o Google su circa il 73% - 88% delle domande. Queste sono differenze reali, non solo errori di misurazione.
La Cattiva Notizia: La maggior parte delle differenze che credevamo di vedere all'interno di una singola famiglia di aziende (come tra diversi modelli Anthropic) erano principalmente differenze nel modo in cui erano rumorosi, o in come l'app che stavano usando li stava plasmando.

La Conclusione

Se vuoi sapere se due modelli di IA hanno valori diversi, non puoi limitarti a porre una singola domanda e vedere cosa dicono. Devi:

Porre loro la stessa domanda molte volte per vedere se sono solo "rumorosi" o se sono realmente "diversi".
Assicurarti di parlare con loro attraverso la stessa identica "porta" (lo stesso software di connessione), perché la porta stessa potrebbe cambiare la loro opinione.

Gli autori non hanno risolto il mistero delle personalità dell'IA per sempre, ma hanno costruito una lente d'ingrandimento migliore per osservarle. Ci hanno mostrato che quello che pensavamo fosse un profondo disaccordo filosofico potrebbe essere solo un'IA che urla e un'altra che sussurra, o un'IA che parla con un manager autoritario e un'altra che parla con un amico tranquillo. Le differenze reali esistono, ma devi pulire il rumore per vederle.

Sintesi Tecnica: Due Confondimenti nella Comparazione del Valore tra Modelli

Problematica
Le pratiche attuali per confrontare i modelli linguistici (LM) sulle "disposizioni di valore"—le scelte che i modelli compiono di fronte a compromessi di valore privi di risposte governate da regole—si affidano a misurazioni a singola estrazione (single-draw). Il campo interpreta sempre più le differenze sistematiche in queste scelte come prova di valori individuati nei modelli (ad esempio, un modello più orientato alla "tradizione" rispetto a un altro). Tuttavia, questo articolo sostiene che i confronti a singola estrazione confondono due quantità distinte:

Differenza nella Tendenza Centrale: Un disaccordo genuino nella direzione del valore (ad esempio, il Modello A preferisce l'Opzione X, il Modello B preferisce l'Opzione Y).
Differenza nel Determinismo della Risposta: Una differenza nel modo in cui un modello si impegna in una scelta (ad esempio, il Modello A sceglie X il 100% delle volte, il Modello B sceglie X il 60% delle volte).

Sotto la misurazione a singola estrazione, un modello altamente deterministico che condivide la stessa inclinazione di valore sottostante di un modello meno deterministico appare avere una grande "distanza di valore" rispetto ad esso. Inoltre, i confronti tra modelli hanno trascurato un secondo confondimento: l'access harness (il client di distribuzione specifico, l'wrapper API o il prompt di sistema) attraverso il quale il modello viene servito, il quale può spostare i profili di valore indipendentemente dai pesi del modello.

Metodologia
Gli autori introducono un protocolo di separazione e un framework di decomposizione applicato a nove modelli appartenenti a cinque famiglie di provider (Anthropic, OpenAI, Google, DeepSeek, xAI).

Stimolo: Lo studio utilizza 18 "dilemmi di valore senza regole" (scelte binarie forzate dove le regole legali/di sicurezza non dettano una risposta, e le opzioni sono superficialmente simmetriche).
Misurazione Ripetuta e Controbilanciata: Ogni modello viene interrogato $N=40$ volte per elemento. Le etichette delle opzioni sono controbilanciate (A/B scambiati) per rilevare il bias di posizione e la mancata partecipazione (non-engagement).
Indice di Determinismo: Viene calcolata un'esplicita metrica, l'estremità (extremity), come la media di $|P(v_1) - 0.5| \times 2$ attraverso gli elementi. Questa misura la nitidezza dell'impegno (0 = massimamente indeciso, 1 = totalmente deterministico) ortogonale alla direzione della preferenza.
Decomposizione: La distanza apparente tra i modelli viene suddivisa in:
- Inversione di Direzione (Genuina): I modelli scelgono lati opposti rispetto alla soglia di 0,5.
- Stessa Direzione, Più Estrema (Determinismo Etichettato): I modelli scelgono lo stesso lato ma con diversi livelli di impegno.
Controllo dell'Access Harness: Lo studio raccoglie nuovamente i dati per gli stessi modelli attraverso le loro API raw dei provider, confrontando questi risultati con i dati del "benchmark congelato" raccolti tramite client di distribuzione (ad esempio, CLI di abbonamento).
Controllo White-Box: Un test causale aggiunge un prompt di sistema di un agente generico a una chiamata API raw per isolare l'effetto del prompt sulla conformità e sullo spostamento del valore.

Risultati Chiave

Variabilità del Determinismo: Il determinismo della risposta varia sostanzialmente tra i modelli e non può essere assunto dai nomi dei modelli. Tra i modelli partecipanti, l'estremità corrispondente al client varia da circa 0,66 a 0,95. Notevolmente, all'interno della famiglia Anthropic, un modello più piccolo (Haiku) è più deterministico del flagship (Opus), mentre all'interno di OpenAI, il modello più grande (GPT-5.5) è più deterministico del suo predecessore. Ciò suggerisce che il determinismo non è una semplice funzione del provider o della scala.
Decomposizione della Divergenza: Una volta separata la componente del determinismo, la divergenza apparente rivela di non essere né uniformemente genuina né uniformemente un artefatto.
- Mancata Partecipazione (Non-Engagement): Un modello (DeepSeek-V4-Flash) è stato trovato "bloccato su una posizione" (position-locked), selezionando un'etichetta fissa indipendentemente dal contenuto. La sua apparente distanza dagli altri modelli era puro artefatto, non disaccordo di valore.
- Disaccordo Genuino: Alcune coppie cross-family (ad esempio, Grok-3 rispetto ad altri) mostrano un alto disaccordo genuino (il 73–88% della distanza è inversione di direzione), che sopravvive a rigorosi test di robustezza.
- Rumore Intra-Family: La maggior parte delle differenze apparenti all'interno della stessa famiglia di provider è guidata da artefatti di determinismo o rumore di confine piuttosto che da una genuina individuazione del valore.
Il Confondimento dell'Access Harness: Il client di distribuzione altera significativamente i profili di valore.
- L'Anthropic claude-p CLI sposta il profilo di valore del flagship Opus di una media di 0,31 nella probabilità di scelta e inverte la direzione di 4/18 elementi rispetto all'API raw.
- Questo client distorce anche l'indice di determinismo, facendo apparire Opus molto più "morbido" (0,34) rispetto a quanto sia tramite l'API raw (0,66).
- Al contrario, il client codex di OpenAI è "pulito", mostrando spostamenti trascurabili (0,008–0,05).
- Meccanismo Causale: Un controllo white-box conferma che un prompt di sistema di un agente elimina causalmente i rifiuti a scelta forzata (che si verificano in circa il 10% delle chiamate API raw per Opus) e sposta il profilo di valore. Tuttavia, l'entità specifica dello spostamento nel CLI distribuito non è pienamente riproducibile da un prompt generico, indicando uno strato di pilotaggio proprietario complesso.
Sensibilità Linguistica: La lingua del prompt (Coreano vs Inglese) agisce come un confondimento simile, spostando i profili assoluti di circa 0,20 pur preservando ampiamente l'ordinamento relazionale del determinismo.

Significatività e Rivendicazioni
L'articolo non pretende di stabilire definitivamente se i LLM possiedano valori individuati; piuttosto, fornisce lo strumento necessario per misurare tale questione senza confondere i risultati con artefatti.

Contributo Metodologico: Il documento introduce una decomposizione che separa il genuino disaccordo di valore dal "determinismo etichettato" (nitidezza dell'impegno). Ciò consente ai ricercatori di distinguere tra modelli che discordano realmente e modelli che differiscono semplicemente nel modo in cui si impegnano con decisione.
Identificazione di un Nuovo Confondimento: Lo studio identifica l'access harness come un confondimento distinto e causalmente attivo. Dimostra che il client di distribuzione non è un tubo neutro, ma uno strato che modella il valore e può indurre conformità (eliminando i rifiuti) e spostare i profoli di valore in modo sostanziale.
Implicazioni per gli Audit di Allineamento: Gli attuali audit che classificano i modelli in base alla distanza di valore a singola estrazione sono difettosi. Essi classificano una quantità "gonfiata dal determinismo" che è ulteriormente confusa dal client utilizzato. Di conseguenza, i modelli non impegnativi (che sono vicini a tutto ma non impegnati in nulla) sono sistematicamente sottovalutati come sicuri, mentre le apparenti differenze tra i modelli possono essere artefatti della misurazione piuttosto che un vero disaccordo di valore.
Rivendicazioni Strutturali Modeste: Gli autori inquadrano la questione se il determinismo tracci il provider, la scala o l'identità del modello come una domanda resa misurabile dal loro metodo, piuttosto che un fatto risolto. Il loro campione di nove modelli suggerisce che il determinismo non è leggibile dalla sola linea di discendenza, ma è necessaria una campionatura densa per provider per una risposta definitiva.

In sintesi, l'articolo sostiene che l'attuale metrica della "distanza di valore" del campo è una confusione tra direzione del valore, nitidezza dell'impegno e artefatti di distribuzione. Correggere per questi fattori rivela che, sebbene esistano alcuni genuini disaccordi di valore cross-family, gran parte dell'individuazione riportata è un artefatto della misurazione e dell'infrastruttura di distribuzione.

I Due Equivoci

Cosa Significa per la "Personalità" dell'IA

La Conclusione

Articoli simili