Enrich-Retrieve-Rank: Scaling Capability Discovery Beyond In-Context Routing
Dit artikel introduceert "Enrich-Retrieve-Rank", een schaalbare pipeline voor het ontdekken van capaciteiten die inefficiënte in-context routing vervangt door een offline enrichment en een online retrieve-then-rank aanpak, waarbij aanzienlijk hogere nauwkeurigheid en lagere kosten worden aangetoond dan baseline-methoden naarmate de agent-ecosystemen groeien van honderden naar duizenden componenten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de snel evoluerende wereld van kunstmatige intelligentie is een nieuwe generatie systemen opgekomen die niet alleen vragen beantwoordt, maar ook taken uitvoert. Deze systemen, vaak agenten genoemd, fungeren als digitale assistenten die het web kunnen doorzoeken, code kunnen schrijven of complexe workflows kunnen beheren. Hiervoor vertrouwen ze op een uitgebreide bibliotheek van digitale hulpmiddelen, vaardigheden en andere agenten, vergelijkbaar met hoe een menselijke werker vertrouwt op een gereedschapskist gevuld met hamers, schroevendraaiers en gespecialiseerde software. Naarmate deze ecosystemen groeien, bevatten ze nu duizenden onderscheidende mogelijkheden. De centrale uitdaging voor deze intelligente systemen is ontdekking: wanneer een systeem geconfronteerd wordt met een specifieke taak, hoe weet het dan welk hulpmiddel het moet kiezen uit een bibliotheek die mogelijk duizenden opties bevat? Lange tijd was de standaardaanpak om simpelweg de volledige lijst van beschikbare hulpmiddelen aan de kunstmatige intelligentie te tonen en het te vragen een keuze te maken. Deze methode werkte goed wanneer de lijst kort was, maar naarmate de bibliotheken uitbreidden naar duizenden, begonnen de systemen moeite te krijgen, waarbij ze vaak faalden in het vinden van het juiste hulpmiddel of tijd en middelen verspilden door de verkeerde opties te proberen.
Een team onderzoekers bij Amazon AGI zette zich in om dit schaalbaarheidsprobleem op te lossen door opnieuw te definiëren hoe deze systemen zoeken naar mogelijkheden. Ze behandelden het probleem niet als een eenvoudige keuze, maar als een zoekmachinequery. In plaats van de kunstmatige intelligentie te dwingen door een enorme, ongeorganiseerde lijst van elk beschikbaar hulpmiddel te lezen, bouwden ze een pijplijn die eerst de informatie organiseert en vervolgens de meest relevante opties ophaalt voordat er een definitieve beslissing wordt genomen. Het proces begint met een offline stap waarbij het systeem de schaarse, vaak korte beschrijvingen van elk hulpmiddel neemt en deze herschrijft naar rijke, gedetailleerde profielen. Dit gebeurt eenmalig wanneer een hulpmiddel aan de bibliotheek wordt toegevoegd, waardoor een doorzoekbaar record ontstaat dat een samenvatting, specifieke trefwoorden en voorbeelden van hoe het hulpmiddel wordt gebruikt, bevat. Wanneer een gebruiker een vraag stelt, vraagt het systeem de kunstmatige intelligentie niet om te gokken vanuit de hele bibliotheek. In plaats daarvan doorzoekt het snel deze verrijkte index om een shortlist van de meest waarschijnlijke kandidaten op te halen, en gebruikt het vervolgens een laatste, gerichte controle om ze te rangschikken.
De onderzoekers testten deze aanpak tegenover de traditionele methode van het tonen van de volledige lijst aan de kunstmatige intelligentie, bekend als in-context routing. Ze ontdekten dat naarmate de bibliotheek met hulpmiddelen groeide, de traditionele methode instortte. Wanneer de bibliotheek slechts tien hulpmiddelen bevatte, was het systeem in tachtigenvijf procent van de gevallen correct. Echter, toen het aantal hulpmiddelen groeide naar bijna zeven duizend, kelderde de nauwkeurigheid van de traditionele methode naar slechts twaalf procent. Het systeem raakte overweldigd door de enorme hoeveelheid informatie die het tegelijkertijd moest verwerken. In contrast hiermee hanteerde de nieuwe zoek-en-rangschikingspijplijn de groei veel eleganter. Hoewel de nauwkeurigheid ervan ook afnam naarmate de bibliotheek groeide, bleef deze aanzienlijk hoger en daalde naar drieëndertig procent bij de grootste schaal. Cruciaal was dat de onderzoekers een kantelpunt ontdekten rond de vijfhonderd hulpmiddelen. Onder dit aantal werkte de oude methode van het tonen van de hele lijst nog steeds goed. Boven dit aantal werd de nieuwe zoekgebaseerde aanpak essentieel, waarbij het de oude methode met een ruime marge versloeg.
De studie onthulde ook dat het nieuwe systeem veel efficiënter was. Door eerst een shortlist op te halen, gebruikte het systeem ongeveer de helft van de rekenbronnen die de traditionele methode vereiste in vergelijking met een systeem dat kandidaten één voor één zocht. Wanneer vergeleken met de methode die de volledige lijst toonde, verminderde de nieuwe aanpak de kosten met een factor zeventig. Deze efficiëntie is essentieel omdat elke keer dat een kunstmatige intelligentie een hulpmiddel probeert en faalt, het rekenkracht en tijd consumeert, en in sommige gevallen zelfs een actie op een onbetrouwbaar systeem kan triggeren om te leren wat het doet. De nieuwe pijplijn voorkomt deze verspilde pogingen door irrelevante opties weg te filteren voordat er enige actie wordt ondernomen.
Een belangrijke bevinding van het onderzoek was dat de verbetering voornamelijk voortkwam uit de ophaalstap (retrieval), en niet uit de uiteindelijke rangschikkingsstap. Het vermogen van het systeem om het juiste hulpmiddel te vinden in de initiële zoekopdracht was de belangrijkste flessenhals. Zelfs wanneer de zoekmachine het juiste hulpmiddel vond, was de laatste rangschikkingsstap zeer betrouwbaar en plaatste deze de beste optie tussen de zeventig en achtenzeventig procent van de tijd correct bovenaan de lijst, ongeacht hoe groot de bibliotheek was. Dit suggereert dat de toekomst van deze systemen minder afhangt van het slimmer maken van de uiteindelijke beslisser en meer van het bouwen van betere zoekmachines die enorme bibliotheken met hulpmiddelen kunnen verwerken. De onderzoekers merkten ook op dat deze aanpak het beste werkt wanneer de initiële beschrijvingen van de hulpmiddelen schaars of incompleet zijn. Voor bibliotheken die al over zeer gedetailleerde beschrijvingen beschikken, bood de extra stap van het herschrijven van de informatie weinig voordeel. Echter, voor de enorme, groeiende bibliotheken van echte hulpmiddelen waar beschrijvingen vaak kort zijn, was deze verrijkingsstap cruciaal voor succes.
Het team heeft deze pijplijn ingezet als de standaard ontdekkingslaag voor een grootschalig multi-agent platform in productie. In deze real-world omgeving beheert het systeem duizenden agenten, hulpmiddelen en vaardigheden gelijktijdig. De resultaten bevestigden de laboratoriumbevindingen: de zoekgebaseerde aanpak stelde het systeem in staat om effectief te schalen waar de oude methoden faalden. De onderzoekers benadrukten dat dit geen theoretische oefening is, maar een praktische oplossing voor een probleem dat ontstaat naarmate kunstmatige intelligentiesystemen complexer en capabeler worden. Door capaciteitsontdekking te behandelen als een zoekprobleem in plaats van een selectieprobleem, hebben ze een blauwdruk geboden voor hoe deze systemen kunnen blijven groeien zonder hun vermogen te verliezen om de juiste hulpmiddelen voor de klus te vinden. Het werk demonstreert dat naarmate ecosystemen van kunstmatige intelligentie uitbreiden, de architectuur van hoe zij informatie vinden moet evolueren, weg van eenvoudige lijsten en naar geavanceerde, gelaagde zoekprocessen die de complexiteit van de moderne digitale wereld kunnen aan kunnen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.