Does Slightly Mean Somewhat? Measuring Vague Intensity Words in LLM Numeric Actions

Riepilogo Tecnico: Misurazione delle Parole di Intensità Vague nelle Azioni Numeriche degli LLM

Enunciato del Problema
Man mano che i modelli linguistici (LLM) vengono sempre più integrati in agenti e sistemi di controllo in linguaggio naturale, devono tradurre istruzioni umane vaghe (ad esempio, "aumenta leggermente", "riduci drasticamente") in azioni numeriche precise con conseguenze a valle. Sebbene ricerche precedenti abbiano stabilito che gli umani preservano le classifiche ordinali nelle espressioni vaghe e che gli LLM possono essere sensibili alla formulazione, esiste un vuoto nella comprensione di come i modelli mappino questi modificatori di intensità su output numerici concreti in un ambiente controllato. Nello specifico, rimane sottostimato se i modelli preservino la struttura ordinale ipotizzata delle parole di intensità quando sono costretti a selezionare un singolo valore numerico, come il contesto (stato del sistema) influenzi questa mappatura e come i modelli si comportino vicino ai limiti di fattibilità operativa.

Metodologia
Lo studio impiega un ambiente sintetico e vincolato di allocazione delle risorse per isolare la traduzione dal linguaggio all'azione.

• Configurazione Sperimentale: Il modello (Claude Haiku) riceve istruzioni in linguaggio naturale per aumentare un'allocazione di compiti utilizzando una delle 10 parole di intensità specifiche. Un backend deterministico converte la chiamata allo strumento numerico del modello in un risultato misurabile.
• Scala delle Parole: Sono stati selezionati dieci modificatori di grado in inglese per coprire sei livelli ipotizzati basati sulla tassonomia di Quirk et al. (1985), che vanno da attenuatori deboli (slightly, marginally) a massimizzatori (drastically, dramatically).
• Condizioni:
  1. Senza Contesto: Le istruzioni mancano dello stato attuale del sistema (ad esempio, "spendi [PAROLA] più tempo").
  2. Condizionata al Contesto: Le istruzioni includono l'allocazione iniziale (ad esempio, "L'allocazione attuale è X%. Vorrei [PAROLA] aumentare"). Sono state testate dieci valori di base (da 0% a 89%), inclusi numeri interi e valori irregolari.
  3. Controlli: Prompt con numeri esatti hanno validato l'infrastruttura.
• Parametri: Gli esperimenti sono stati eseguiti a temperature $T=0.0$ e $T=0.7$, con 30 esecuzioni per cella (per un totale di 6.620 esecuzioni).
• Analisi: Lo studio utilizza statistiche non parametriche, inclusi il $\rho$ di Spearman per la correlazione ordinale e i test di Kruskal-Wallis con dimensioni dell'effetto ($\varepsilon^2$) per determinare se la scelta della parola o l'allocazione iniziale spieghino una maggiore varianza nell'output.

Risultati Chiave
Tre modelli principali sono emersi attraverso gli esperimenti:

1. Compressione dell'Intensità: Nella condizione senza contesto, il modello comprime 10 parole di intensità distinte in soli 5 output mediani distinti. Le quattro parole del livello più basso (slightly, marginally, somewhat, mildly) mappano tutte su un'allocazione mediana di 0,50 con varianza zero. Le parole più forti si suddividono in regimi superiori (0,60–0,70). Sebbene esista una forte correlazione ordinale ($\rho = 0,845$), le distinzioni lessicali fini collassano.
2. Dominio dello Stato: Quando viene fornito il contesto, l'allocazione iniziale domina la scelta della parola. La raggruppamento per valore di base spiega circa 10 volte più varianza basata sul rango rispetto al raggruppamento per parola ($\varepsilon^2_{baseline} = 0,782$ vs. $\varepsilon^2_{word} = 0,079$). Man mano che il sistema si avvicina alla capacità, la differenziazione tra le parole collassa a zero; a una base del 75%, tutte le 10 parole producono lo stesso output mediano.
3. Comportamento Discontinuo ai Confini: Vicino ai limiti di fattibilità (allocazione iniziale al 89%), il modello esibisce tre modalità comportamentali distinte dipendenti dalla parola utilizzata:
   • Attenuazione (Hedge): Le parole deboli apportano piccoli aggiustamenti.
   • Astensione (Abstain): Le parole forti (ad esempio, considerably, substantially) spesso rifiutano di agire completamente, citando vincoli.
   • Spinta (Push): La parola drastically si comporta in modo unico, spingendo l'allocazione verso il soffitto locale (0,912) invece di astenersi.
     Questi modelli persistono attraverso le temperature; aumentare $T$ a 0,7 allarga le distribuzioni ma non ripristina distinzioni ordinali granulari.

Contributi Chiave

1. Metodologia: Uno strumento controllato per misurare come gli LLM mappano parole di intensità vaghe su azioni numeriche, separando la traduzione dal linguaggio all'azione dal rumore del sistema a valle.
2. Evidenza di Compressione: Documentazione che i modelli preservano regimi di intensità grossolani ma collassano distinzioni lessicali fini in output numerici identici.
3. Dipendenza dal Contesto: Evidenza quantitativa che lo stato attuale del sistema domina la scelta della parola nelle impostazioni condizionate al contesto, minando l'affidabilità delle istruzioni vaghe come segnali di controllo invarianti al contesto.
4. Scoperta dei Confini: Identificazione di astensioni dipendenti dalla parola e di commutazione di modalità categorica (attenuazione, azione, astensione) vicino ai limiti operativi, rivelando discontinuità nelle politiche di azione non visibili dal solo linguaggio.

Significato e Affermazioni
Il documento ipotizza che le istruzioni vaghe non dovrebbero essere assunte come mappate su azioni scalari stabili nelle interfacce mediate da LLM. I risultati suggeriscono che il vocabolario operativo del modello è più grossolano di quanto implichi il linguaggio superficiale e che il significato di una parola di intensità è una funzione congiunta della parola e dello stato del sistema, non un valore fisso.

Lo studio inquadra questi risultati come un problema specifico di allineamento: se un'interfaccia mediata da un modello preservi la semantica intesa dall'operatore. I risultati indicano un esito misto: sebbene i regimi di intensità ampi siano catturati, le distinzioni fini vengono perse e il comportamento diventa discontinuo vicino ai confini. L'autore nota esplicitamente che lo studio non afferma che il modello sia "peggiore" degli umani, poiché l'interpretazione umana di queste parole può essere anch'essa ambigua; piuttosto, lo studio documenta i modelli comportamentali specifici del modello testato in questo dominio. Il documento conclude che questi modelli sono specifici del modello e del dominio testati, con lavori futuri pianificati per includere baseline umane, confronti tra modelli e griglie sperimentali più dense.