Riepilogo Tecnico: VeriScale: Scalatura della Suite di Test Adversarial per la Generazione di Codice Verificabile

Enunciato del Problema

Mentre i Modelli Linguistici su Larga Scala (LLM) vengono sempre più impiegati nell'ingegneria del software, valutare la loro capacità di generare non solo codice funzionale, ma anche specifiche e prove formalmente verificabili è diventato cruciale. I benchmark esistenti per la generazione di codice verificabile, come VERINA e CLEVER, fanno affidamento in modo massiccio sulla valutazione tramite suite di test per valutare la Generazione di Specifiche (SpecGen) e la Generazione di Codice (CodeGen). Tuttavia, questi benchmark soffrono di una limitazione fondamentale: sono vincolati dalla scarsità di casi di test di alta qualità, in particolare dei casi di test negativi (input inaspettati e output inaspettati).

I benchmark attuali forniscono tipicamente solo un numero limitato di coppie input-output positive. Di conseguenza, i modelli possono ottenere tassi di superamento gonfiati soddisfacendo questi test sparsi senza catturare realmente l'intento del programma o garantire la correttezza e la completezza delle loro specifiche generate. Ciò porta a una sovrastima delle capacità dei modelli, dove implementazioni errate o specifiche non corrette superano la valutazione semplicemente perché la suite di test non riesce a esporre difetti logici o violazioni dei limiti.

Metodologia: Il Framework VeriScale

Per affrontare queste limitazioni, gli autori propongono VeriScale, un nuovo framework guidato da implementazioni avversarie per scalare e raffinare sistematicamente le suite di test per la generazione di codice verificabile. Il framework opera in due fasi principali: Espansione della Suite di Test e Riduzione della Suite di Test.

1. Espansione della Suite di Test

L'obiettivo di questa fase è costruire un pool diversificato e impegnativo di casi di test, inclusi coppie input-output attese, input inaspettati e output inaspettati.

• Generazione dei Semi e Mutazione Consapevole del Tipo: Ispirandosi a EvalPlus, VeriScale utilizza gli LLM per sintetizzare input iniziali (semi). Questi semi vengono poi espansi tramite una strategia di mutazione iterativa e consapevole del tipo. Il framework formalizza la mutazione come un processo a quintupla ($M = (T, D, O, p, q)$) che preserva i tipi di input introducendo perturbazioni strutturali. Ciò include il riutilizzo di valori contestuali da un "pool di ingredienti" o l'applicazione di euristiche specifiche per il tipo per generare casi limite complessi.
• Classificazione degli Input Guidata dalle Precondizioni: Gli input candidati vengono classificati rigorosamente rispetto alle precondizioni di verità fondamentale (ground-truth) utilizzando una pipeline di verifica a due stadi in Lean.
  • Filtro Sintattico: Garantisce che i candidati siano espressioni Lean sintatticamente valide.
  • Verifica Bidirezionale: Utilizza #guard decide e una plausibile ricerca di prove per classificare gli input come "attesi" (soddisfano la precondizione) o "inaspettati" (la violano).
• Sintesi Adversaria degli Output Inaspettati: Questa è l'innovazione principale. Invece di affidarsi agli LLM per allucinare output errati casuali, VeriScale sintetizza implementazioni avversarie.
  • Un modello capace agisce come "red team", generando specifiche formali per un problema.
  • Un altro modello (o lo stesso in un ruolo diverso) tenta di creare implementazioni avversarie progettate per sfruttare le debolezze di queste specifiche.
  • Queste implementazioni vengono eseguite su input attesi. Se un'implementazione avversaria produce un output che differisce dalla verità fondamentale ma è falsamente accettato dalle postcondizioni generate, questo output viene mantenuto come un "output inaspettato" di alta qualità. Questo processo garantisce che i casi di test siano genuinamente informativi per esporre l'insoundness delle specifiche.

2. Riduzione della Suite di Test

Per gestire il costo computazionale delle suite espanse, VeriScale impiega strategie di riduzione per distillare il grande pool in suite compatte ma discriminative.

• Riduzione che Preserva i Limiti (per Input Inaspettati): Invece del campionamento casuale, questa strategia dà priorità agli input che corrispondono a comuni violazioni dei limiti (ad esempio, contenitori vuoti, valori zero, lunghezze non corrispondenti). Mantiene esempi rappresentativi dai bucket critici dei limiti per garantire la copertura delle tipiche violazioni delle precondizioni.
• Riduzione "Killing dell'Avversario" (per Input Attesi): Questa strategia riutilizza le implementazioni avversarie sintetizzate nella fase di espansione. Ogni coppia input-output attesa viene valutata in base a quante implementazioni "mutanti" (avversarie) riesce a "uccidere" (cioè produrre un output diverso). La riduzione è formulata come un problema di copertura degli insiemi, selezionando avidamente le coppie che coprono il massimo numero di mutanti precedentemente non uccisi. Ciò garantisce che la suite ridotta mantenga la capacità di distinguere specifiche difettose.

Contributi Chiave

1. Framework VeriScale: Gli autori propongono un framework generale che sfrutta le implementazioni avversarie per guidare sia l'espansione sistematica sia la riduzione delle suite di test per la generazione di codice verificabile.
2. VERINAPLUS e VERINALITE: Il framework è istanziato sul benchmark VERINA per creare due nuovi dataset:
   • VERINAPLUS: Un benchmark espanso con suite di test scalate di oltre 83× (specificamente 62,83× per gli input attesi, 87,79× per gli output inaspettati e 183,08× per gli input inaspettati).
   • VERINALITE: Una variante leggera scalata di 14×, ottimizzata tramite le strategie di riduzione per mantenere il potere discriminativo con costi di valutazione inferiori.
3. Validazione Empirica: Il documento dimostra che i benchmark originali sovrastimano significativamente le capacità dei modelli. I benchmark potenziati rivelano debolezze sostanziali negli LLM all'avanguardia che erano precedentemente nascoste.

Risultati Sperimentali

Gli autori hanno valutato otto LLM all'avanguardia (inclusi GPT-5.5, Claude-Sonnet-4.6 e DeepSeek-V4-Pro) su VERINA, VERINAPLUS e VERINALITE.

• Esposizione delle Debolezze dei Modelli: I benchmark aumentati hanno causato bruschi cali delle prestazioni. Ad esempio, GPT-5.5 ha visto il suo punteggio SpecGen crollare dal 68,78% su VERINA al 44,44% su VERINAPLUS, e il suo punteggio CodeGen scendere dal 96,83% all'86,24%. Ciò indica che i casi di test sparsi del benchmark originale permettevano ai modelli di superare la valutazione senza una vera comprensione.
• Riduzione dell'Incertezza di Valutazione: Le suite di test espanse hanno significativamente ristretto le barre di errore nella valutazione SpecGen. Nel benchmark originale, risultati di verifica indeterminati creavano ampi gap tra i limiti superiori e inferiori (ad esempio, un gap del 13,23% per Claude-Opus-4.7). Su VERINAPLUS, questa ambiguità è stata risolta, riducendo il gap al 4,76%, fornendo una valutazione statisticamente più affidabile.
• Divario di Robustezza: I risultati evidenziano una disparità fondamentale: i modelli sono significativamente più abili nella CodeGen rispetto alla SpecGen. Mentre i punteggi CodeGen hanno subito cali moderati, i punteggi SpecGen hanno subito crolli precipitosi, suggerendo che la sintesi di specifiche formali corrette e complete rimane un collo di bottiglia maggiore per gli LLM attuali.
• Efficienza della Riduzione: VERINALITE ha ottenuto profili di degradazione delle prestazioni quasi identici a VERINAPLUS ma con un sovraccarico computazionale significativamente ridotto. Il tempo di valutazione per VERINALITE è stato solo 1,38× (SpecGen) e 1,05× (CodeGen) rispetto alla baseline, rispetto a 1,80× e 1,50× per l'intera suite VERINAPLUS.

Significato e Affermazioni

Il documento afferma che VeriScale fornisce uno standard cruciale e altamente affidabile per l'avanzamento della generazione di codice verificabile basata su LLM. Spostandosi oltre i test positivi sparsi per includere casi negativi sintetizzati in modo avversario, il framework offre una valutazione più rigorosa che previene la sovrastima delle capacità dei modelli.

Gli autori posizionano VeriScale come complementare agli sforzi esistenti; invece di introdurre nuovi compiti, rafforza i benchmark esistenti scalando la qualità e la quantità dei segnali di test. Il lavoro sottolinea la necessità di una scalatura avversaria dei test per esporre la fragilità dei modelli attuali nelle attività di ragionamento formale.

Limitazioni Riconosciute:
Gli autori notano che VeriScale dipende dalla disponibilità di precondizioni di verità fondamentale e implementazioni di riferimento. Inoltre, la qualità degli output inaspettati sintetizzati è limitata dalle capacità di ragionamento dell'LLM che agisce come "red team". Infine, la fase di costruzione rimane intensiva dal punto di vista computazionale, richiedendo un campionamento massiccio di LLM ed esecuzioni Lean.

Lavori Futuri:
Gli autori propongono di evolvere VeriScale in un sistema di riparazione a ciclo chiuso per guidare i modelli nell'applicare patch alle specifiche difettose. Pianificano inoltre di utilizzare VeriScale come motore di dati avversario per sintetizzare corpora di addestramento per modelli di autoformalizzazione dedicati e di generalizzare il framework ad altri backend di verifica come Dafny.