Measuring What a Specification Determines: A Formal Semantic-Block Model and an Execution-Judged Benchmark

Nel mondo del software moderno, un numero crescente di aziende sta cercando di automatizzare la creazione di programmi informatici utilizzando l'intelligenza artificiale. Invece di assumere un team di ingegneri per scrivere ogni riga di codice da zero, forniscono una descrizione scritta dettagliata di ciò che il software dovrebbe fare, nota come specifica, e chiedono a un'IA di costruirlo. Questo approccio, chiamato sviluppo guidato dalla specifica, tratta il piano scritto come il manuale di istruzioni primario per la macchina. La speranza è che, se il piano è sufficientemente chiaro, l'IA produca software perfetto ogni volta. Tuttavia, rimane una domanda critica: un piano migliore rende l'IA più intelligente, o i sistemi di IA conoscono già le risposte in base al loro addestramento? Se l'IA concorda con il piano semplicemente perché ha visto piani simili in precedenza, il piano stesso non sta compiendo alcun vero lavoro. Questa incertezza rende difficile sapere se una specifica sia realmente di alta qualità o solo un documento che capita di corrispondere a ciò che la macchina avrebbe fatto comunque.

Un team di ricercatori si è posto l'obiettivo di risolvere questo problema di misurazione testando un compito specifico e complesso: spostare un database massiccio da un tipo di sistema a un altro. Hanno creato una specifica formale e strutturata per migrare i dati da un database Oracle a uno PostgreSQL, un processo che comporta la traduzione di migliaia di regole su come i dati vengono archiviati ed elaborati. Per testare se questa specifica aiutasse effettivamente, non si sono limitati a chiedere all'IA di scrivere del codice e controllare se sembrasse corretto. Al contrario, hanno costruito un esperimento rigoroso in cui lo stesso gruppo di sistemi di IA doveva eseguire la migrazione due volte: una con la specifica dettagliata e una senza di essa. I ricercatori hanno utilizzato un database Oracle attivo e un sistema PostgreSQL nuovo come giudice rigoroso. Hanno eseguito il codice generato dall'IA contro i dati originali per vedere se i risultati fossero identici, trattando il comportamento effettivo del software come l'unica vera misura del successo.

Lo studio ha coinvolto tre diversi sistemi di IA che agivano come implementatori indipendenti, tutti lavorando sullo stesso compito di migrazione specifico composto da 75 elementi. Quando i ricercatori hanno confrontato i risultati, hanno riscontrato una netta divisione tra ciò che il software poteva fare e quanto bene i sistemi di IA concordassero tra loro. La specifica ha migliorato drasticamente la capacità del software di essere eseguito senza crashare. Senza la specifica, solo il 72 percento del codice generato poteva essere caricato con successo nel nuovo database. Con la specifica completa, quel numero è balzato al 97,3 percento. Il piano ha agito come una guida che ha aiutato l'IA a evitare errori fatali e a produrre codice che effettivamente funzionasse.

Tuttavia, la storia ha preso una piega diversa quando i ricercatori hanno esaminato se la specifica facesse concordare maggiormente i sistemi di IA tra loro. Prima dello studio, c'era la speranza che un piano perfetto avrebbe costretto tutti i sistemi di IA a prendere esattamente le stesse decisioni, creando una soluzione unificata. I dati hanno mostrato che non è stato così. Anche senza la specifica, i sistemi di IA concordavano già tra loro l'83 percento delle volte, probabilmente perché avevano appreso le stesse pratiche standard del settore durante il loro addestramento. Quando la specifica è stata aggiunta, questo tasso di accordo si è mosso appena, passando all'83,8 percento. Il piano non ha cambiato idea sull'IA riguardo alle decisioni che stava già prendendo; ha semplicemente aiutato l'IA a eseguire quelle decisioni senza rompersi.

I ricercatori hanno anche scoperto che il modo in cui le informazioni vengono presentate conta più di quanta informazione venga fornita. In un esperimento, hanno preso una singola regola e l'hanno collocata in parti diverse del documento. Quando la regola era sepolta in un paragrafo alla fine di una sezione, l'IA la seguiva solo il 23 percento delle volte. Quando la stessa regola era collocata in una tabella strutturata in cima alla sezione, la conformità saliva al 42 percento. Sorprendentemente, ripetere la regola in entrambi i posti ha ridotto il tasso di conformità al 34 percento, suggerendo che la ridondanza possa confondere il sistema invece di rafforzare l'istruzione. Questo reperimento indica che la struttura del documento è più influente del volume di testo.

Forse il reperimento più significativo è stato che una specifica può talvolta peggiorare le cose. In un caso specifico, una regola nella specifica istruiva l'IA a utilizzare un certo tipo di contenitore di dati. L'IA ha seguito questa regola perfettamente, ma il risultato è stato un codice non valido che non avrebbe funzionato. Senza la specifica, l'IA aveva ignorato quella specifica istruzione e aveva usato autonomamente un metodo diverso e funzionante. Ciò ha dimostrato che seguire una regola non garantisce un esito corretto e che una specifica può introdurre nuovi errori proprio mentre ne corregge altri. Lo studio ha anche scoperto che i sistemi di IA avevano un limite naturale alla loro coerenza; quando i ricercatori hanno eseguito lo stesso test più volte, i risultati variavano di circa 14 punti percentuali semplicemente a causa della natura casuale di come l'IA genera il testo. Questa variabilità significava che i piccoli miglioramenti non potevano essere considerati progressi reali.

In definitiva, la ricerca conclude che una specifica è uno strumento potente per rendere il software eseguibile e per aiutare gli esseri umani a individuare dove mancano le istruzioni, ma non è una bacchetta magica che costringe diversi sistemi di IA a pensare allo stesso modo. La specifica ha avuto successo nel ridurre di quasi un quarto il numero di programmi interrotti, provando il suo valore nell'assicurare che il codice venga eseguito. Eppure, non è riuscita ad aumentare l'accordo tra diversi sistemi di IA o a migliorare l'accuratezza dei dati stessi, che è rimasta invariata a 19 risultati corretti su 42 test sia nei gruppi controllati che in quelli non controllati. Lo studio suggerisce che per l'attuale generazione di IA, una specifica agisce più come una rete di sicurezza che previene il fallimento catastrofico piuttosto che come una guida che eleva la qualità della soluzione oltre ciò che l'IA già conosce. Il vero potere della specifica non risiede nel costringere l'IA ad accordarsi, ma nel rendere il processo di costruzione del software abbastanza affidabile da poter essere controllato e verificato.