Sintesi Tecnica: Giudicare non è Enumerare

Definizione del Problema

I modelli linguistici (LLM) sono sempre più impiegati non solo come esaminandi che rispondono a domande, ma come esaminatori che redigono le specifiche, le suite di test, le chiavi di risposta e le funzioni di ricompensa che definiscono la correttezza per i sistemi a valle. Questo articolo investiga un'asimmetia critica in questo inversione di ruoli: mentre i modelli dimostrano una forte capacità nel giudicare se un candidato specifico appartiene a un insieme accettabile, essi performano significativamente peggio quando redigono l'insieme stesso.

Il problema centrale è il "gap di redazione" (authoring gap): l'incapacità di un modello di materializzare l'estensione di una specifica di correttezza (l'elenco di tutte le risposte valide o la suite di test che le accetta) con la stessa fedeltà con cui possiede la capacità di giudicare singoli candidati. Questo gap è particolarmente pericoloso perché gli artefatti prodotti (chiavi, rubriche, suite) diventano la definizione operativa di correttezza per altri sistemi, inclusi l'Apprendimento per Rinforzo con Ricompense Verificabili (RLVR). L'articolo postula che la modalità di fallimento dominante sia l'omissione silenziosa — il fallimento nell'includere membri validi — che è intrinsecamente difficile da sottoporre ad audit perché un'assenza non può essere contestata da un revisore locale allo stesso modo in cui può esserlo un'over-inclusion (sovra-inclusione).

Metodologia

Gli autori impiegano un rigoroso framework di misurazione privo di giudici, basato su una verità fondamentale costruita per evitare la circolarità (ovvero, usare un modello per valutare le proprie specifiche). Lo studio utilizza quattro diverse costruzioni per triangolare il fenomeno attraverso diversi domini e livelli di completezza:

1. Costruzioni Algoritmiche (Verità Completa):

   • Stringhe: Ai modelli viene presentata una lista finita di 15 parole e un predicato meccanicamente decidibile (ad es. "contiene una doppia lettera"). Il compito è elencare tutte le parole che soddisfano il predicato.
   • Aritmetica: Simile al compito sulle stringhe ma con predicati numerici (ad es. "divisibile per 3") su liste di interi.
   • Significato: Queste costruzioni eliminano il confondimento dell'incompletezza lessicale; la verità fondamentale è computabile ed esatta.

2. Costruzione Eseguibile (Verità Eseguibile):

   • Basata su HumanEval+ e MBPP+. I modelli generano suite di test partendo da docstring. La correttezza è determinata dall'esecuzione della suite contro un pool di soluzioni verificate da un oracle (1.560 corrette, 904 errate).
   • Significato: Questo misura la capacità di redazione "intensionale" dove l'insieme è illimitato e definito dall'esecuzione del codice.

3. Costruzione Lessicale (Verità Lessicale):

   • Basata su synset di WordNet. I modelli elencano parole che corrispondono a un senso specifico.
   • Significato: Utilizzata per la triangolazione, sebbene riconosciuta come incompleta (il lessico può mancare sinonimi validi). L'articolo tratta la precisione qui come un limite inferiore e si basa sui trend di recall.

Design Sperimentale:

• Interfacce Confrontate:
  • Giudizio (Esecuzione): Al modello viene dato un candidato e viene chiesto "È $x \in S^*$?" (Classificazione puntuale).
  • Redazione: Il modello deve emettere l'intero insieme $\hat{S}$ (Enumerazione estensionale) o un predicato/suite (Redazione intensionale).
• Controlli: Lo studio controlla la scala (da 3B a 72B parametri), le famiglie di modelli (Qwen2.5, Qwen3, Llama, Mistral, Phi, gemma), le variazioni di prompt e le strategie di decoding (greedy vs. abilitata al ragionamento).
• Test di Mitigazione: L'articolo testa il "campiona-e-verifica" (self-repair), il gating tramite "probi di correttezza nota" e il "trace repair" (riscrivere i valori attesi basandosi sull'esecuzione di riferimento).
• Impatto a Valle: Gli autori misurano la "tassa RLVR" addestrando policy con chiavi redatte dal modello rispetto a chiavi oracle per quantificare la perdita di accuratezza.

Contributi Chiave e Risultati

1. Le Forbici Giudizio–Redazione

La scoperta principale è un gap persistente e statisticamente significativo tra le prestazioni di giudizio e quelle di redazione in tutte le scale e famiglie di modelli.

• Verità Completa: Nei compiti algoritmici, i punteggi F1 di giudizio variano da 0.60 a 0.77, mentre i punteggi F1 di redazione variano da 0.26 a 0.48. Il gap ($\Delta$) rimane positivo (+0.25 a +0.34) e non si chiude all'aumentare della scala del modello.
• Codice Eseguibile: Il gap è più severo qui. I modelli che giudicano la correttezza del codice con un F1 di 0.74–0.90 redigono suite di test che ammettono solo il 19–42% delle soluzioni corrette dell'oracle (con le suite di Llama che ammettono ancora meno, all'8–10%).
• Indipendenza dalla Scala: Il gap persiste attraverso un intervallo di 24 volte i parametri e diverse generazioni di modelli (inclusi modelli frontier come GPT-5.1 e Opus), sebbene si restringa leggermente sulle costruzioni più semplici per i modelli più forti.

2. Meccanismo: Omissione Silenziosa

L'articolo identifica l'omissione come la modalità di errore dominante, che è "povera di testimoni" (witness-poor).

• Asimmetria di Audit: La revisione locale (sottrattiva) è altamente efficace nel rilevare le over-inclusion (falsi positivi), ma fallisce nel rilevare le omissioni (falsi negativi). In esperimenti controllati, i modelli rilevano le over-inclusion inserite 6–7 volte più spesso delle omissioni inserite.
• Conseguenza della Revisione: Poiché le pipeline di revisione rimuovono preferenzialmente le over-inclusion ma falliscono nel recuperare le omissioni, il processo di raffinamento iterativo sposta gli artefatti verso l'under-acceptance (alta precisione, bassa recall) piuttosto che ripararli.

3. La Natura del Deficit: Enumerazione vs. Specifica

L'articolo distingue tra l'incapacità di specificare una regola e l'incapacità di enumerare la sua estensione.

• Emissione del Predicato: Quando viene chiesto di scrivere la regola (ad es. un predicato Python def accepts(w)) piuttosto che l'elenco delle risposte, i modelli raggiungono un F1 quasi perfetto (~0.99).
• Conclusione: Il deficit non è una mancanza di conoscenza o un'incapacità di specificare la logica. È un fallimento nella materializzazione one-shot: l'incapacità di enumerare esaustivamente l'insieme indotto da una specifica senza lookahead, specialmente quando non viene fornita una regola compatta per ristatarla.

4. Mitigazione e Riparazione

• L'Auto-Verifica Fallisce: Il metodo "campiona-e-verifica" (generare molteplici candidati e filtrarli con il proprio giudice del modello) non chiude il gap. L'unione dei campioni non riesce a coprire la verità fondamentale (limite di retrieval), e il giudice del modello stesso collassa sui propri candidati di confine.
• Gating Esterno: Scartare qualsiasi suite redatta che rifiuti un probo di correttezza nota (ad es. una soluzione di riferimento) riduce i tassi di falsa rifiuto dal 58–92% al $\le$5%. Tuttavia, questo scarta la maggior parte delle suite (resa del 5–39%).
• Trace Repair: Riscrivere i valori attesi in una suite fallita per farli corrispondere all'output di un'esecuzione di riferimento recupera da 3.3 a 10.6 volte più suite utilizzabili. Ciò dimostra che il fallimento risiede nel calcolare gli output attesi (intensionale), non nella selezione degli input (estensionale).

5. Costo a Valle: La Tassa RLVR

Quando le chiavi redatte dai modelli vengono usate come segnali di ricompensa in RLVR:

• Compito Lessicale: L'addestramento su una chiave redatta costa 18.5 punti di accuratezza (rispetto a WordNet) rispetto a una chiave oracle.
• Compito di Verità Completa: Anche con un insieme meccanicamente esatto, il costo è di 1.9 punti.
• Meccanismo: La chiave redatta agisce come un "canale a due vie", affamando i comportamenti corretti (omissione) e premiando quelli errati (inquinamento). La policy impara a ottimizzare per la chiave difettosa, portando a un deficit di accuratezza permanente che non svanisce con l'aumento della scala del modello.

Significato e Rivendicazioni

L'articolo sostiene di aver stabilito un limite fondamentale nel paradigma attuale di utilizzo degli LLM come verificatori e progettisti di ricompense.

• L'Asimmetria a Livello Meta: Sebbene sia noto che la verifica sia più facile della generazione per le soluzioni, questo articolo mostra che generare lo standard di verifica stesso è più difficile che verificare i candidati rispetto a uno standard. Il "vantaggio della verifica" non si trasferisce alla costruzione del verificatore.
• Errore Direzionale: Il fallimento non è rumore casuale; è un bias sistematico verso l'omissione. Ciò rende le specifiche redatte "direzionalmente errate" in un modo che la revisione locale non può certificare o riparare.
• Implicazione Pratica: L'articolo sostiene che non si debba mai fidarsi di una specifica redata one-shot come verità fondamentale. Invezione, i sistemi dovrebbero:
  1. Elicitare la regola (predicato) piuttosto che il registro (elenco) ove possibile.
  2. Sottoporre a gating tutti i verificatori redati contro probe di correttezza nota.
  3. Usare l'esecuzione esterna per riparare i valori attesi invece di scartare l'intero artefatto.
• Modestia: Gli autori dichiarano esplicitamente che il gap è specifico per la redazione one-shot e greedy senza ragionamento al tempo di test. Riconoscono che il ragionamento al tempo di test (scratchpad) può chiudere il gap nei compiti algoritmici dove esiste una regola, ma non ripara in modo affidabile la redazione di suite di test dove la regola deve essere inferita dal testo. Non affermano che gli LLM non possano essere addestrati per redigere migliori verificatori, ma che il regime zero-shot/one-shot attualmente impiegato su larga scala è insufficiente.

In sintesi, l'articolo dimostra che il ruolo di "esaminatore" è attualmente fuori portata per gli LLM nella sua forma più impegnativa (enumerazione esaustiva), creando un collo di bottiglia silenzioso e non verificabile che degrada i sistemi a valle, in particolare nelle pipeline RLVR.