Training on Broken Contexts: Source Loss and Repair in Tool-Augmented LLM Post-Training
Questo articolo identifica e quantifica un fallimento critico nell'addestramento di LLM aumentati da strumenti in cui le standard politiche di costruzione delle sequenze recidono il legame tra i target dell'assistente e le relative osservazioni degli strumenti sorgente, e propone strategie di ricostruzione che migliorano significativamente la copertura della supervisione e l'integrità del contesto riducendo al contempo la ridondanza dei token.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Gli assistenti moderni basati sull'intelligenza artificiale sono sempre più progettati per agire come agenti capaci di rivolgersi a strumenti esterni per risolvere problemi. Quando un utente pone una domanda, il modello potrebbe decidere di chiamare un database, controllare un servizio meteo o recuperare lo stato di un ordine. Per insegnare a un modello come fare questo, i ricercatori forniscono loro migliaia di esempi di queste interazioni. Questi esempi non sono semplici domande e risposte; sono conversazioni complesse che contengono la richiesta dell'utente, la decisione del modello di usare uno strumento, i dati grezzi restituiti da quello strumento e, infine, la risposta del modello che utilizza quei dati per rispondere all'utente. L'obiettivo dell'addestramento è mostrare al modello l'intera storia, affinché impari a connettere i puntini tra l'output di uno strumento e la risposta finale.
Tuttavia, esiste un passaggio nascosto in questo processo che avviene dopo che le conversazioni sono state scritte ma prima che il modello le apprenda effettivamente. Per far rientrare queste lunghe storie nella memoria del computer, il software di addestramento deve sminuzzarle, riorganizzarle o tagliarle per adattarsi a un limite di dimensione specifico. Questo articolo indaga cosa succede quando quel taglio e quella riorganizzazione vanno storti. I ricercatori si sono posta una domanda semplice ma critica: quando il computer frammenta una conversazione per farla rientrare in uno slot di addestramento, capita a volte che conservi la risposta finale scartando accidentalmente i dati dello strumento su cui quella risposta si basa? Se il modello viene valutato su una risposta, ma l'evidenza per tale risposta è mancante dalla sua visuale, al modello viene chiesto di imparare un trucco di magia piuttosto che un processo logico.
I ricercatori hanno esaminato tre grandi collezioni di conversazioni con l'uso di strumenti che sono comunemente utilizzate per addestrare questi sistemi. Hanno costruito un sistema di tracciamento che seguiva ogni singolo pezzo di testo dalla conversazione originale attraverso il processo di taglio e riorganizzazione. Hanno cercato specificamente i momenti in cui il modello doveva apprendere da un valore restituito da uno strumento, come un numero d'ordine specifico o un codice di errore, e hanno controllato se quel valore fosse ancora visibile al modello quando stava imparando a scrivere la risposta. Hanno testato questo su diverse dimensioni di blocchi di addestramento, che andavano da molto brevi a piuttosto lunghi, e hanno utilizzato diversi metodi per decidare come il software dovesse tagliare e impacchettare il testo.
I risultati hanno rivelato un problema significativo nel modo in cui alcuni dati di addestramento sono attualmente preparati. Quando il software utilizza un metodo che suddivide le conversazioni lunghe in pezzi più piccoli per farle rientrare in una dimensione fissa, separa frequentemente la risposta dai dati dello strumento su cui essa si basa. In uno dei dataset studiati, quasi il quaranta per cento delle risposte conservate veniva insegnato al modello senza l'osservazione dello strumento che le giustificava. In un altro dataset, circa il venti per cento delle risposte risultava similmente "orfana". Ciò significa che il modello viene premiato per generare un testo che non può possibilmente conoscere, perché l'evidenza di cui ha bisogno è stata tagliata via e collocata in un'altra parte della sequenza di addestramento che il modello non può vedere in quel momento.
Lo studio ha anche scoperto che il modo in cui i dati vengono tagliati cambia ciò che il modello apprende effettivamente. Un metodo comune per l'impacchettamento dei dati, che cerca di inserire quanti più esempi possibile in un singolo blocco senza dividerli, evita interamente questo problema di separazione. Tuttavia, questo metodo è così rigido che scarta la maggior parte dei dati di addimento, mantenendo solo una minuscola frazione delle conversazioni originali. I ricercatori hanno dimostrato che esiste un compromesso: i metodi che conservano quasi tutti i dati spesso rompono la connessione tra lo strumento e la risposta, mentre i metodi che mantengono intatta la connessione spesso scartano troppi dati per essere utili.
Per risolvere questo problema, i ricercatori hanno proposto un nuovo modo per ricostruire gli esempi di addestramento. Invece di tagliare il testo alla cieca, hanno suggerito di raggruppare le parti correlate della stessa conversazione in modo che i dati dello strumento e la risposta rimangano sempre nella stessa finestra di visualizzazione. Hanno scoperto che, raggruppando attentamente questi pezzi, potevano mantenere lo stesso numero di risposte corrette utilizzando meno memoria del computer ed eliminando migliaia di pezzi duplicati. Hanno anche scoperto che, per alcuni dataset, l'elenco delle regole che descrivono come usare uno strumento occupa così tanto spazio da spingere la converszione effettiva fuori dalla finestra. Semplificando questi elenchi di regole per mostrare solo le parti specifiche necessarie per una singola chiamata, sono stati in grado di inserire molti più esempi utili nel processo di addestramento.
Infine, i ricercatori hanno controllato il codice software utilizzato da molti sviluppatori per preparare questi dati e hanno trovato un errore nascosto in una versione ampiamente utilizzata. Questo errore causava l'accidentalità di ripetere parti del testo o di mescolare l'ordine delle parole durante l'elaborazione di grandi lotti di dati, creando un flusso di informazioni che non corrispondeva affatto alla conversazione originale. Questa scoperta evidenzia che il problema non risiede solo nei dati stessi, ma negli strumenti utilizzati per prepararli. L'articolo conclude che il modo in cui i dati di addestramento vengono costruiti è importante quanto il dato stesso. Se la connessione tra l'output di uno strumento e la risposta del modello viene interrotta durante la preparazione, il modello non può imparare a usare lo strumento correttamente, indipendentemente da quanti dati veda. I ricercatori esortano affinché i futuri sistemi di addestramento verifichino che il contesto richiesto per una risposta sia effettivamente presente quando il modello sta imparando da esso.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.