Nel mondo moderno, enormi quantità di informazioni sono conservate in magazzini digitali chiamati database. Per porre una domanda a questi magazzini, le persone utilizzano un linguaggio specifico noto come SQL, che funge da interfaccia primaria per il recupero di dati strutturati. Sebbene scrivere correttamente questo linguaggio richieda una profonda comprensione di relazioni e logiche complesse, anche gli umani esperti commettono errori che portano a risposte errate. Recentemente, potenti sistemi informatici noti come modelli linguistici di grandi dimensioni sono stati istruiti per scrivere queste query automaticamente, promettendo di rendere i dati accessibili a tutti. Tuttavia, questi modelli spesso producono query che sembrano corrette ma non riescono a rispondere alla vera domanda dell'utente, o contengono errori sottili che causano il crash del computer o restituiscono risultati fuorvianti. Correggere questi errori è difficile perché una piccola modifica in una parte di una query può alterare completamente il significato dell'intera richiesta.

Un team di ricercatori della Renmin University of China e di ByteDance ha sviluppato un nuovo modo per aiutare questi sistemi informatici a correggere i propri errori. Invece di cercare di correggere una query errata in una singola linea retta, il loro sistema, chiamato ACTS-SQL, tratta il processo come un percorso ramificato dove il computer può esplorare più possibilità contemporaneamente. Se il computer prende una strada sbagliata, può fare un passo indietro e provare una rotta diversa invece di rimanere bloccato su un'ipotesi fallace. Questo approccio è stato testato su benchmark standard e in un sistema industriale reale, dove ha migliorato significativamente l'accuratezza delle domande generate dal computer. I ricercatori hanno scoperto che permettendo al sistema di fare una pausa, controllare il proprio lavoro e riconsiderare le proprie scelte, esso poteva risolvere problemi che i metodi precedenti non riuscivano a risolvere, rendendo la tecnologia molto più affidabile per l'uso quotidiano.

Il problema centrale che i ricercatori hanno affrontato è che gli attuali sistemi informatici spesso rimangono intrappolati in un ciclo di errori. Quando un modello genera una query errata, i vecchi metodi di correzione cercano solitamente di correggerla passo dopo passo in un unico filo di ragionamento. Se il modello commette un errore all'inizio, come fraintendere cosa un utente intendesse con una parola specifica, ogni successiva correzione si costruirà su quell'errore iniziale. Questo è come navigare in un labirinto muovendosi solo in avanti; se si prende una strada sbagliata all'inizio, si potrebbe continuare a camminare sempre più a fondo in un vicolo cieco, convinti di essere sulla strada giusta, finché non si esauriscono le opzioni. I ricercatori hanno osservato che questi metodi lineari sono fragili perché non possono facilmente tornare indietro per riconsiderare la loro prima scelta. Una volta che il computer si impegna in una specifica interpretazione della richiesta di un utente, raramente cambia idea, anche quando i risultati dimostrano che è sbagliata.

Per risolvere questo problema, il team ha progettato un sistema che organizza il processo di correzione in una struttura ad albero. Immaginate un albero decisionale dove il computer parte dall'alto e, ogni volta che uno strumento introduce un nuovo punto decisionale — come quando lo strumento "Detect Ambiguities" identifica frasi ambigue specifiche nella richiesta dell'utente — si divide in diversi rami, ognuno dei quali rappresenta un diverso possibile significato. Un ramo potrebbe assumere che l'utente voglia vedere tutte le vendite per un anno, mentre un altro assume che vogliano vedere le vendite per un mese specifico. Il sistema testa quindi ogni ramo indipendentemente. Se un ramo porta a un risultato che non corrisponde a ciò che l'utente probabilmente intendeva, il sistema può tagliare quel ramo e tornare alla biforcazione per provare un percorso diverso. Questa capacità di tornare indietro ed esplorare alternative impedisce al computer di rimanere bloccato su un'unica idea errata.

Il sistema funziona utilizzando un "cervello" centrale che crea un piano su come correggere la query. Questo piano non è una semplice lista di passaggi, ma una mappa di potenziali azioni. Il computer utilizza strumenti speciali per aiutarlo a navigare in questa mappa. Uno strumento aiuta il sistema a individuare parole ambigue nella domanda dell'utente e a generare diversi modi per comprenderle. Un altro strumento permette al computer di eseguire piccole parti della query contro il database effettivo per vedere quali dati tornano indietro, agendo come un test rapido per vedere se un'idea funziona. Se il computer trova un errore di sintassi, ovvero un errore nella grammatica della query, uno strumento specializzato scompone la query in pezzi più piccoli per trovare esattamente dove la grammatica è andata errata senza dover riscrivere l'intera cosa da zero.

I ricercatori hanno testato il loro sistema su un benchmark chiamato BIRD-Critic, che contiene molti esempi di query SQL difficili con vari tipi di errori. Hanno confrontato il loro metodo con diversi altri approcci, inclusi potenti modelli che erano stati addestrati specificamente per correggere SQL e altri sistemi che cercavano di correggere gli errori usando un metodo lineare e passo dopo passo. I risultati hanno mostrato che il loro approccio strutturato ad albero era significativamente più accurato. Sul benchmark, il nuovo sistema ha migliorato il tasso di successo di 9,42 punti percentuali rispetto al precedente miglior metodo. Questo miglioramento si è mantenuto costante attraverso diversi tipi di linguaggi di database, suggerendo che il metodo sia robusto e non dipendente da uno stile specifico di scrittura delle query.

Per dimostrare che il sistema funziona nel mondo reale, i ricercatori lo hanno implementato in un ambiente di produzione presso ByteDance, specificamente all'interno di un servizio di analisi dei log chiamato Torch Log Service. In questo contesto, il sistema è stato utilizzato per correggere le query generate da un forte modello linguistico prima che venissero inviate agli utenti. I risultati sono stati sorprendenti: l'accuratezza delle query che venivano effettivamente eseguite con successo è passata dal 36,77% al 53,61%. Ciò significa che in uno scenario reale con dati complessi e personalizzati, il sistema è stato in grado di trasformare la maggioranza dei tentativi falliti in successi. I ricercatori hanno notato che questo miglioramento è avvenuto senza la necessità di riaddestrare il modello informatico sottostante su nuovi dati, rendendo la soluzione pratica e facile da integraare nei sistemi esistenti.

Lo studio ha anche evidenziato l'importanza di essere in grado di tornare indietro. In un caso di studio dettagliato, i ricercatori hanno mostrato come un metodo lineare fallirebbe nel correggere una query riguardante le "vendite mensili" perché rimaneva bloccato sull'idea che l'utente intendesse le vendite annuali. Non importava quante volte il sistema lineare cercasse di modificare la query, non poteva sfuggire a quella iniziale supposizione errata. Al contrario, il sistema strutturato ad albero ha riconosciuto l'ambiguità, ha provato l'idea delle vendite annuali, ha visto che falliva e poi è passato immediatamente a un ramo che interpretava correttamente la richiesta come dati mensili. Questa capacità di cambiare direzione basandosi sulle evidenze è stata la chiave del suo successo.

Sebbene il nuovo sistema sia più efficace, richiede un po' più di tempo per l'esecuzione perché esplora più percorsi ed esegue più test. I ricercatori hanno misurato il tempo necessario per correggere una query e hanno scoperto che aggiungeva alcuni minuti al processo, il che è un compromesso ragionevole per il significativo guadagno in accuratezza. Hanno anche scoperto che il sistema funzionava bene con diversi tipi di modelli informatici, non solo con quello usato per i test, indicando che l'approccio è flessibile e può essere applicato ampiamente.

Il lavoro dimostra che per compiti complessi come la scrittura di query di database, un approccio strutturato e basato su un piano è superiore a uno semplice e lineare. Dando al computer la capacità di fare una pausa, considerare più opzioni e tornare indietro quando commette un errore, il sistema diventa molto più affidabile. Questa scoperta suggerisce che i futuri miglioramenti dell'intelligenza artificiale per l'analisi dei dati dipenderanno probabilmente meno dal rendere i modelli più intelligenti in isolamento e più dal fornire loro migliori strumenti e processi per controllare il proprio lavoro. I ricercatori hanno reso disponibili il loro codice e i loro dati, permettendo ad altri di costruire su questo metodo per migliorare ulteriormente il modo in cui i computer interagiscono con i dati umani.