Toward Effective and Reliable LLM Agents via Dynamic Ontology
Het artikel introduceert OaK, een framework dat dynamisch taakgerichte ontologieën construeert en verfijnt om kennis en relaties expliciet te gronden, waardoor de benutting van bewijs en de betrouwbaarheid van meerstapsredeneren in agents van grote taalmodellen wordt verbeterd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de snel evoluerende wereld van kunstmatige intelligentie is een specifiek type software, bekend als een "large language model", opgekomen als een krachtig hulpmiddel voor het begrijpen en genereren van menselijke taal. Deze modellen worden vaak gebruikt om "agents" te bouwen, programma's die niet alleen zijn ontworpen om te chatten, maar om complexe taken uit te voeren door deze op te splitsen in kleinere stappen, zoals het zoeken naar informatie, het gebruiken van digitale hulpmiddelen en het nemen van beslissingen op basis van wat ze vinden. Echter, naarmate deze agents langere en ingewikkelder banen proberen te voltooien, worstelen ze vaak. Ze kunnen het overzicht verliezen over de feiten die ze nodig hebben, logische sprongen maken die niet standhouden, of vast komen te zitten in lussen van fouten omdat ze te zwaar vertrouwen op de enorme, ongestructureerde kennis die in hun eigen geheugen is opgeslagen. Om dit op te lossen, onderzoeken onderzoekers manieren om deze agents een duidelijkere, meer georganiseerde kaart te geven van de wereld die ze navigeren, om ervoor te zorgen dat elke stap die ze zetten gebaseerd is op betrouwbaar bewijs in plaats van gokwerk.
Een team van onderzoekers aan de Nanjing University en andere instellingen heeft een nieuw framework ontwikkeld genaamd OaK om deze betrouwbaarheidsproblemen aan te pakken. Hun werk richt zich op een concept genaamd een "ontologie", wat in essentie een gestructureerd woordenboek is van concepten en de relaties tussen hen, geschreven op een manier die computers strikt kunnen interpreteren. Terwijl traditionele methoden voor het creëren van deze structuren vereisen dat experts handmatig elke regel definiëren — een traag en moeilijk proces — automatiseert het nieuwe systeem de creatie van deze kaarten specifiek voor de betreffende taak. De onderzoekers ontdekten dat door een aangepaste, dynamische structuur voor elke taak te bouwen, ze de mate waarin een agent meerstaps-taken plant en uitvoert aanzienlijk konden verbeteren, waardoor het proces transparanter en minder foutgevoelig werd.
De kern van het OaK-systeem is een tweestaps-proces dat plaatsvindt voordat de agent ooit een werkelijke taak probeert te voltooien. Eerst bekijkt het systeem een reeks trainingsvoorbeelden en de specifieke vereisten van een taak, zoals het plannen van een reis of het beheren van klantgegevens. Vervolgens stelt het automatisch een schema op, een blauwdruk die de belangrijke soorten informatie definieert, zoals "hotels", "vluchten" of "budgetten", en hoe deze met elkaar verbonden zijn. Deze blauwdruk is niet slechts een lijst; het wordt strikt gecontroleerd door een logische reasoner om ervoor te zorgen dat er geen tegenstrijdigheden of ontbrekende regels zijn. Als de blauwdruk gebrekkig is, herstelt het systeem deze voordat het verdergaat. Zodra de blauwdruk solide is, bouwt het systeem een kennisgrafiek, een netwerk van werkelijke datapunten die uit het trainingsmateriaal zijn gehaald, exact georganiseerd volgens de regels van de blauwdruk.
Met dit gestructureerde fundament in de plaats, creëert het systeem een reeks gespecialiseerde hulpmiddelen, of functies, die de agent kan gebruiken. In plaats van de agent te vragen om zelf uit te zoeken hoe hij naar een vlucht zoekt, filtert op prijs en de beschikbaarheid controleert, voorziet het systeem de agent van vooraf gebouwde tools die deze specifieke acties correct uitvoeren. De agent gebruikt deze tools vervolgens om problemen op te lossen, geleid door de strikte regels van de blauwdruk. Als de agent een fout maakt of de taak mislukt, beoordeelt een "judge"-model het gehele proces, identificeert precies waar de blauwdruk of de tools fout gingen, en stelt verbeteringen voor. Deze cyclus van bouwen, testen en verfijnen herhaalt zich meerdere keren totdat het systeem robuust genoeg is om ongeziene vragen te beantwoorden. Het resultaat is een "kernel", een bevroren, betrouwbare interface die de agent gebruikt om met data te interageren, wat ervoor zorgt dat elke beslissing wordt ondersteund door bewijs en dat de agent niet per ongeluk feiten verzint of beperkingen negeert.
De onderzoekers testten deze aanpak op drie zeer verschillende soorten uitdagingen om te zien of het standhield in de echte wereld. De eerste was een reisplannings Taak waarbij een agent vluchten, hotels, maaltijden en activiteiten moest regelen terwijl hij zich hield aan strikte budget- en schema-beperkingen. De tweede betrof het beheren van klantrelaties in een zakelijke omgeving, waarbij de agent complexe bedrijfsregels moest volgen en specifieke dossiers moest ophalen. De derde testte het vermogen om informatie uit diverse externe bronnen, zoals vluchtdatabases en restaurantrecensies, te combineren om gedetailleerde vragen te beantwoorden. In elk geval presteerde het OaK-systeem beter dan standaardmethoden. Bij de reisplannings-taak verbeterde het systeem bijvoorbeeld het succespercentage voor het voltooien van een volledige, geldige reisplanning van ongeveer 15 procent naar bijna 56 procent bij gebruik van een van de basismodellen, en van ongeveer 4 procent naar bijna 20 procent met een ander model. Het liet ook aanzienlijke winsten zien in de zakelijke en data-taken, vooral in scenario's waarin de agent strikte regels moest volgen of data uit meerdere tabellen moest combineren.
De studie onthulde ook waarom deze verbeteringen plaatsvonden. Wanneer de onderzoekers de op maat gemaakte tools verwijderden of het systeem stopten met het verfijnen van de blauwdruk over meerdere rondes, daalde de prestatie scherp. Dit gaf aan dat het simpelweg geven van toegang tot data voor de agent niet genoeg was; de agent had de gestructureerde regels en de kant-en-klare tools nodig om zijn acties effectief te coördineren. Het systeem werkte door het redeneerproces van de agent zichtbaar en begrensd te maken, waardoor werd voorkomen dat de agent afdwaalde naar ononderbouwde aannames. Hoewel de nieuwe methode iets meer tijd in beslag nam om uit te voeren en meer outputtekst produceerde dan sommige eenvoudigere benaderingen, gebruikte het minder input-tokens, wat suggereert dat de gestructureerde interface de agent efficiënter maakte in het verwerken van de benodigde informatie. De onderzoekers concludeerden dat door domeinkennis om te zetten in een uitvoerbare, zelfcorrigerende interface, zij kunstmatige intelligentie-agents betrouwbaarder, vertrouwwaardiger en in staat kunnen maken om de complexe, meerstaps-redenering aan te kunnen die vereist is in real-world toepassingen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.