Code Agents under Split Specifications: An Empirical Study of Silent Failure in System Integration

Nel mondo del software, diversi sistemi informatici devono spesso comunicare tra loro per svolgere il proprio lavoro. Un sistema potrebbe inviare una data scritta con il formato "giorno prima", mentre l'altro si aspetta "mese prima". Uno potrebbe contare il denaro in centesimi, mentre l'altro conta in dollari. Queste piccole differenze non sono di solito misteri; sono fatti che qualcuno, da qualche parte, ha registrato. La sfida sorge quando un nuovo tipo di lavoratore, un agente di intelligenza artificiale, viene incaricato di costruire il ponte tra questi due sistemi. Questi agenti sono strumenti potenti in grado di scrivere codice informatico per connettere programmi diversi. Tuttavia, operano secondo una regola semplice: possono utilizzare solo le informazioni fornite loro nelle istruzioni. Se le istruzioni non dicono se una data è giorno-primo o mese-primo, l'agente non può conoscere la risposta. Deve fare una scelta.

Il pericolo in questa situazione non è che l'agente si blocchi o smetta di funzionare. Il pericolo è che continui a lavorare perfettamente, ma fornisca la risposta errata. Questo è chiamato fallimento silenzioso. Il codice viene eseguito senza errori, supera i test di base e appare corretto a un revisore umano, eppure invia i dati sbagliati al sistema successivo. Questo è un problema critico per le aziende e le organizzazioni perché l'errore non si manifesta immediatamente. Inveve, i numeri errati fluiscono a valle, corrompendo registri, rapporti finanziari e decisioni molto prima che qualcuno si renda conto che qualcosa è rotto. La domanda che i ricercatori si sono posti era semplice: di fronte a un fatto mancante che non possono indovinare, questi agenti intelligenti si fermano e chiedono aiuto, o tirano a indovinare con sicurezza e rompono il sistema?

Un ricercatore si è dato come obiettivo misurare esattamente quanto spesso accada questo. Ha creato una serie di compiti realistici in cui un agente di intelligenza artificiale doveva scrivere un pezzo di codice per connettere due sistemi. In alcuni di questi compiti, all'agente veniva fornito il fatto mancante, come ad esempio essere stato esplicitamente informato che le date sono giorno-primo. In altri compiti, il fatto era nascosto, e l'agente poteva o porre una domanda per trovarlo, o era costretto a scrivere il codice senza chiedere. Ha testato questo con otto diversi modelli di intelligenza artificiale, che spaziavano da programmi open-source più piccoli ai sistemi più avanzati disponibili oggi. Il ricercatore non si è limitato a controllare se il codice funzionasse; ha verificato se il codice producesse la risposta corretta per ogni possibile scenario, inclusi quelli complicati che dipendono da quel fatto mancante.

I risultati hanno rivelato una realtà cruda su come funzionano questi sistemi. Quando agli agenti veniva fornito il fatto mancante, erano molto efficaci, costruendo connessioni corrette circa l'ottantotto percento delle volte. Ciò ha dimostrato che gli agenti erano capaci di svolgere il lavoro se disponevano delle informazioni necessarie. Tuttavia, quando il fatto mancava e agli agenti era vietato chiedere, la situazione cambiava drasticamente. Gli agenti non si fermavano; non dicevano di essere confusi. Invece, sceglievano una convenzione e scrivevano il codice. In il sessantadue percento di questi casi, il codice che scrivevano era un fallimento silenzioso. Funzionava pulitamente, sembrava perfetto, ma restituiva il valore errato. Questo accadeva indipendentemente da quanto fosse avanzato il modello. Persino i sistemi più potenti, che potevano risolvere il problema perfettamente se avessero avuto il fatto a disposizione, fallivano silenziosamente quasi la metà delle volte quando non potevano chiedere.

Lo studio ha anche indagato se il semplice fatto di permettere all'agente di porre una domanda avrebbe risolto il problema. Il ricercatore ha scoperto che la risposta dipende interamente da chi ascolta. Quando i modelli più avanzati avevano la possibilità di chiedere, chiedevano in quasi ogni singola esecuzione. Non tiravano a indovinare; cercavano la verità. Tuttavia, se non c'era nessuno a rispondere, l'integrazione semplicemente si bloccava. Il lavoro si fermava e non veniva prodotto alcun codice. Questo è un tipo diverso di fallimento, ma è comunque un fallimento. Il ricercatore ha scoperto che, affinché il sistema funzioni, la pipeline — ovvero il processo che gestisce l'agente — deve essere progettata per indirizzare la domanda dell'agente verso un essere umano o un sistema partner che possa fornire la risposta. Avere un canale aperto non è sufficiente se non c'è nessuno incaricato di rispondere.

Il ricercatore ha anche testato una regola di sicurezza in cui l'agente veniva istruito a rifiutarsi di scrivere il codice se non conosceva il fatto mancante. Questa regola ha eliminato con successo i fallimenti silenziosi, portando il tasso di errore quasi a zero. Tuttavia, ciò comportava un prezzo elevato. L'agente rifiutava di scrivere il codice anche quando la risposta poteva essere dedotta dalle informazioni disponibili. Ciò causava l'arresto del sistema su compiti che avrebbe potuto risolvere facilmente, riducendo il tasso di successo dall'ottantuno percento al diciotto percento. Lo studio ha concluso che la soluzione non consiste nel rendere gli agenti più intelligenti o nel costringerli a essere più cauti. La soluzione risiede nel design del processo stesso. Il sistema deve essere costruito per rilevare quando un fatto manca attraverso un confine organizzativo e per indirizzare quella domanda a una persona o a un sistema che possa rispondere. Senza questa specifica configurazione, anche l'intelligenza artificiale più capace costruirà con sicurezza un ponte che conduce nel posto sbagliato.