Training on Broken Contexts: Source Loss and Repair in Tool-Augmented LLM Post-Training
Dit artikel identificeert en kwantificeert een kritiek falen in de training van door tools versterkte LLM's waarbij standaard sequentieconstructiebeleid de link tussen assistent-doelstellingen en hun bron-toolobservaties verbreekt, en stelt reconstructiestrategieën voor die de supervisiedekking en contextintegriteit aanzienlijk verbeteren terwijl ze de token-redundantie verminderen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Moderne kunstmatige intelligentie-assistenten zijn steeds vaker ontworpen om te fungeren als agenten die naar externe hulpmiddelen kunnen grijpen om problemen op te lossen. Wanneer een gebruiker een vraag stelt, kan het model besluiten om een database aan te roepen, een weerdienst te controleren of een bestelstatus op te vragen. Om een model te leren hoe dit te doen, voorzien onderzoekers het van duizenden voorbeelden van deze interacties. Deze voorbeelden zijn niet slechts eenvoudige vragen en antwoorden; het zijn complexe gesprekken die de aanvraag van de gebruiker, de beslissing van het model om een hulpmiddel te gebruiken, de ruwe gegevens die door dat hulpmiddel worden geretourneerd, en tot slot het antwoord van het model bevatten dat die gegevens gebruikt om de gebruiker te antwoorden. Het doel van de training is om het model het hele verhaal te tonen, zodat het leert om de verbanden te leggen tussen de output van een hulpmiddel en het uiteindelijke antwoord.
Er is echter een verborgen stap in dit proces die plaatsvindt nadat de gesprekken zijn opgeschreven, maar voordat het model er daadwerkelijk van leert. Om deze lange verhalen in het geheugen van de computer te passen, moet de trainingssoftware ze opknippen, herschikken of inkorten om aan een specifieke groottebeperking te voldoen. Dit artikel onderzoekt wat er gebeurt wanneer dat opknippen en herschikken misgaat. De onderzoekers stelden een eenvoudige maar cruciale vraag: wanneer de computer een gesprek opknipt om het in een trainingsslot te passen, houdt het dan soms het uiteindelijke antwoord vast terwijl het per ongeluk de gegevens van het hulpmiddel die dat antwoord vormden, weggooit? Als het model wordt beoordeeld op een antwoord, maar de bewijsvoering voor dat antwoord ontbreekt in zijn gezichtsveld, dan wordt het model gevraagd een goocheltruc te leren in plaats van een logisch proces.
De onderzoekers onderzochten drie grote collecties gesprekken waarbij hulpmiddelen worden gebruikt, die algemeen worden gebruikt om deze systemen te trainen. Ze bouwden een controlesysteem dat elk stukje tekst uit het oorspronkelijke gesprek volgde door het proces van opknippen en herschikken. Ze zochten specifief naar momenten waarop het model zou moeten leren van een waarde die door een hulpmiddel werd geretourneerd, zoals een specifiek ordernummer of een foutcode, en controleerden of die waarde nog steeds zichtbaar was voor het model wanneer het leerde het antwoord te schrijven. Ze testten dit over verschillende groottes van trainingsblokken, variërend van zeer kort tot behoorlijk lang, en gebruikten verschillende methoden voor hoe de software beslist om de tekst te snijden en te verpakken.
De resultaten onthulden een aanzienlijk probleem met de manier waarop sommige trainingsdata momenteel worden voorbereid. Wanneer de software een methode gebruikt die lange gesprekken in kleinere stukken splitst om ze in een vaste grootte te passen, scheidt het vaak het antwoord van de hulpmiddelgegevens waarop het gebaseerd is. In een van de datasets die zij bestudeerden, werden bijna veertig procent van de behouden antwoorden aan het model geleerd zonder de observatie van het hulpmiddel die ze rechtvaardigden. In een andere dataset waren ongeveer twintig procent van de antwoorden op vergelijkbare wijze georfand. Dit betekent dat het model wordt beloond voor het genereren van tekst die het onmogelijk kan weten, omdat het bewijs dat het nodig heeft is weggeknipt en in een ander deel van de trainingssequentie is geplaatst dat het model op dat moment niet kan zien.
De studie vond ook dat de manier waarop de data wordt gesneden bepaalt wat het model daadwerkelijk leert. Een veelvoorkomende methode voor het verpakken van data, die probeert zoveel mogelijk voorbeelden in een enkele chunk te passen zonder ze te splitsen, vermijdt dit scheidingsprobleem volledig. Deze methode is echter zo strikt dat het het grootste deel van de trainingsdata weggooit, waardoor slechts een fractie van de oorspronkelijke gesprekken behouden blijft. De onderzoekers toonden aan dat er een afweging is: methoden die bijna alle data behouden, verbreken vaak de verbinding tussen het hulpmiddel en het antwoord, terwijl methoden die de verbinding intact houden, vaak te veel van de data weggooien om nuttig te zijn.
Om dit op te lossen, stelden de onderzoekers een nieuwe manier voor om de trainingsvoorbeelden te reconstrueren. In plaats van de tekst blindelings te snijden, stelden ze voor om gerelateerde delen van hetzelfde gesprek bij elkaar te groeperen, zodat de gegevens van het hulpmiddel en het antwoord altijd in hetzelfde gezichtsvenster blijven. Ze ontdekten dat ze door deze stukken zorgvuldig te groeperen, hetzelfde aantal correcte antwoorden konden behouden terwijl ze minder computergeheugen gebruikten en duizenden duplicaten van tekst elimineerden. Ze ontdekten ook dat voor sommige datasets de lijst met regels die beschrijven hoe een hulpmiddel te gebruiken, zoveel ruimte inneemt dat het het eigenlijke gesprek uit het venster duwt. Door deze regellijsten te vereenvoudigen om alleen de specifieke delen te tonen die nodig zijn voor een enkele aanroep, waren ze in staat om veel meer nuttige voorbeelden in het trainingsproces te passen.
Ten slotte controleerden de onderzoekers de softwarecode die door veel ontwikkelaars wordt gebruikt om deze data voor te bereiden en vonden een verborgen fout in een veelgebruikte versie. Deze fout veroorzaakte dat de software per ongeluk delen van de tekst herhaalde of de volgorde van woorden door elkaar haalde tijdens het verwerken van grote batches data, waardoor een informatiestroom ontstond die totaal niet overeenkwam met het oorspronkelijke gesprek. Deze ontdekking benadrukt dat het probleem niet alleen in de data zelf zit, maar in de tools die worden gebruikt om het voor te bereiden. Het artikel concludeert dat de manier waarop trainingsdata wordt geconstrueerd even belangrijk is als de data zelf. Als de verbinding tussen de output van een hulpmiddel en het antwoord van het model tijdens de voorbereiding wordt verbroken, kan het model het hulpmiddel niet correct gebruiken, ongeacht hoeveel data het ziet. De onderzoekers dringen erop aan dat toekomstige trainingssystemen moeten verifiëren dat de context die nodig is voor een antwoord daadwerkelijk aanwezig is op het moment dat het model ervan leert.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.