Sintesi Tecnica: CAVEWOMAN – Come i Large Language Models si comportano sotto la compressione del linguaggio in input e output

Definizione del Problema

I costi di inferenza per i Large Language Models (LLM) scalano sia con il numero di token in input che in output, con i token di output tipicamente costati 4–8× più di quelli di input. Sebbene esistano metodi di compressione per ridurre sia il prompt (input) che la risposta (output), essi vengono tradizionalmente valutati isolatamente utilizzando un singolo parametro: l'accuratezza del compito a un numero ridotto di token.

Questo articolo identifica due criticità fondamentali nei protocolli di valutazione esistenti:

1. Mancata misurazione del costo realizzato: Un prompt più breve non riduce necessariamente il costo totale di inferenza se il modello compensa generando una risposta più lunga.
2. Collasso dell'accuratezza binaria: Le metriche di accuratezza standard collassano le generazioni in esiti binari, fallendo nel distinguere tra una risposta compressa che si allinea al ragionamento non vincolato del modello e una che diverge da esso pur essendo "corretta".

Metodologia: Il Protocollo CAVEWOMAN

Gli autori introducono CAVEWOMAN, un protocollo di valutazione a due canali progettato per punteggiare ogni generazione su tre assi: accuratezza del compito, costo per elemento realizzato e accordo con il testo di riferimento rispetto alla generazione non vincolata dello stesso modello.

Design Sperimentale

• Modelli: Sono stati valutati otto modelli, inclusi modelli open-weight (Qwen2.5-VL-7B, Qwen3.5-9B, DeepSeek-R1-Distill-Qwen-7B, Gemma-4-E4B) e modelli API (GPT-4o, GPT-5.4, Claude Haiku 4.5, Claude Sonnet 4.6).
• Dataset: Cinque benchmark che coprono quattro tipi di task: GSM8K (matematica), BoolQ (booleano), ARC-Easy (scienze MCQ), CommonsenseQA (senso comune MCQ) e MMLU-STEM (STEM MCQ).
• Livelli di Compressione: Cinque livelli di riduzione linguistica ($L_0$ a $L_4$) sono stati applicati utilizzando un filtro deterministico basato sulla Parte del Parola (POS):
  • $L_0$: Baseline non vincolata.
  • $L_1$: Telegrafico (rimuove parole di classe chiusa come determinativi, preposizioni, congiunzioni).
  • $L_2$: Solo parole chiave (nomi, verbi, numeri cardinali).
  • $L_3$: Scheletro di sintagmi nominali (nomi e numeri cardinali).
  • $L_4$: Budget di 15 token.
• Due Condizioni:
  • Condizione A (Compressione dell'Input): Il prompt dell'utente viene filtrato tramite il filtro POS prima che il modello lo veda.
  • Condizione B (Vincolo dell'Output): Il prompt rimane intatto, ma il system prompt istruisce il modello a generare una risposta nel registro ridotto corrispondente.

Metriche di Valutazione

1. Accuratezza del Task: Risposte estratte tramite regex confrontate con la verità di base (ground truth).
2. Costo Realizzato: Calcolato come $C = n_{in} \cdot p_{in} + n_{out} \cdot p_{out}$, misurando il costo effettivo dei token incorreti.
3. Accordo con il Testo di Riferimento: Misurato tramite l'implicazione (entailment) NLI bidirezionale rispetto alla generazione non vincolata ($L_0$) dello stesso modello sullo stesso elemento. Questo è integrato da 11 misure semantiche complementari.
4. Tabella di Dissociazione: Una matrice 2x2 che incrocia la correttezza del task con l'accordo con il testo di riferimento per identificare i casi in cui le risposte sono corrette ma semanticamente divergenti dalla baseline non vincolata (Cella C2).

Risultati Chiave

1. Asimmetria dei Costi tra i Canali

• Compressione dell'Output (Condizione B): Riduce con successo il costo realizzato nella maggior parte dei modelli API (riduzione di 1.4–2.4× per modello, fino a 3× nei casi migliori) e in tutti i quattro modelli open-weight. Ciò accade perché il vincolo limita direttamente i costosi token di output.
• Compressione dell'Input (Condizione A): Risulta in un "fallimento totale" (strict lose-lose). Aumenta il costo netto (circa 1.15× in media, fino a 1.8× su dataset specifici, e 2.7× in caso di compressione profonda) perché i modelli compensano il prompt depauperato generando risposte più lunghe. Poiché i token di output sono prezzi più alti, il risparmio sui token di input è superato dal costo dell'espansione dell'output.
• Meccanismo: La compressione dell'input innesca un' "espansione compensatoria dell'output", dove il modello tenta di ricostruire il contesto mancante, portando a costi totali più elevati anche quando l'accuratezza crolla ai livelli di riduzione più profondi.

2. Disaccoppiamento tra Accuratezza e Accordo con il Testo di Riferimento

Sotto la compressione dell'output, emerge una divergenza significativa tra la correttezza del task e la traccia del ragionamento interno del modello:

• Divergenza del Testo Superficiale: Nei modelli non orientati al ragionamento, il 51.9% delle generazioni al livello telegrafico ($L_1$) sono corrette, ma il loro testo superficiale non implica più la generazione non vincolata ($L_0$) del modello.
• Robustezza: Questa divergenza persiste anche controllando la lunghezza (ricalcolando le generazioni $L_0$ troncate per farle corrispondere alla lunghezza di $L_1$) e regge attraverso molteplici metriche semantiche e giudici.
• Interpretazione: Il modello può arrivare alla risposta corretta attraverso un percorso di ragionamento o una formulazione superficiale differente quando vincolato, il che significa che la "correttezza" della risposta non garantisce la preservazione della traccia di ragionamento originale.

3. Robustezza Variabile tra i Modelli

• La robustezza (il rapporto tra l'accuratezza con output vincolato e l'accuratezza con input vincolato) varia ampiamente tra i modelli (da un range di 1.5× a 3.7×).
• Questa robustezza non è predetta dal numero di parametri o dall'accuratezza della baseline non vincolata. Ad esempio, il modello API con l'accuratezza più alta (GPT-5.4) era tra i meno robusti ai vincoli di output, mentre un modello open-weight da 7B (Gemma-4-E4B) ha mostrato la maggiore robustezza.

Significato e Rivendicazioni

L'articolo sostiene che la valutazione a singolo asse della compressione è insufficiente. Gli autori affermano che:

1. Il costo non può essere inferito dalla riduzione del prompt: Il costo realizzato dipende dall'interazione tra riduzione dell'input ed espansione dell'output.
2. L'accuratezza è condizionale: L'accuratezza osservata dipende dall'affidabilità dell'estrazione e dallo specifico asse semantico utilizzato per la valutazione.
3. Implicazioni per il deployment: Per i deployment che consumano solo la risposta finale, la compressione dell'output è una strategia di risparmio dei costi valida. Tuttavia, per i deployment che richiedono tracce di audit o trasparenza del ragionamento (dove il testo generato stesso viene consumato), la compressione dell'output introduce un rischio significativo di divergenza semantica dalla traccia di ragionamento non vincolata del modello.
4. Protocollo di Valutazione: I candidati per il deployment vincolato dovrebbero essere classificati in base alle loro prestazioni al livello di vincolo specifico che affronteranno, piuttosto che in base alla loro prestazione baseline non vincolata.

Lo studio conclude che comprimere l'inferenza degli LLM è un problema a due canali in cui la compressione dell'input e dell'output producono risultati economici e semantici fondamentalmente differenti, rendendo necessari protocolli di valutazione multi-metrica come CAVEWOMAN.