MoNe: Modular Neural Memory for Efficient Long Context Inference
MoNe is een lichtgewicht, modulair neuraal geheugensysteem dat wordt gekoppeld aan bevroren Transformers om efficiënte inferentie met lange context mogelijk te maken door de inferentiekosten los te koppelen van de contextlengte, waarbij een constante querycomplexiteit en aanzienlijk verminderd geheugengebruik worden bereikt zonder hertraining.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Moderne kunstmatige intelligentie heeft een punt bereikt waarop het hele boeken kan lezen, jaren aan chatlogs kan analyseren of enorme juridische contracten in één keer kan verwerken. Om dit te doen, vertrouwen deze systemen op een mechanisme dat hen in staat stelt terug te kijken naar alles wat ze zojuist hebben verwerkt om de huidige vraag te begrijpen. Deze mogelijkheid gaat echter gepaard met een hoge prijs. Naarmate de hoeveelheid tekst groeit, neemt de hoeveelheid energie en computergeheugen die nodig is om het te verwerken niet alleen toe, maar explodeert zelfs. Stel je voor dat je een bibliotheek probeert te lezen door elk woord dat je op dit moment leest te vergelijken met elk woord dat je hebt gelezen sinds je begon. De inspanning die hiervoor nodig is, groeit zo snel dat het voor standaardcomputers, vooral kleinere exemplaren die in telefoons of laptops worden gevonden, al snel onmogelijk wordt om meer dan een paar duizend woorden tegelijk aan te kunnen. Deze beperking dwingt huidige systemen om ofwel het begin van een lang verhaal te vergeten, ofwel te vertrouwen op externe hulpmiddelen om specifieke feiten te vinden, waarbij ze vaak het grotere plaatje missen dat verspreide details met elkaar verbindt.
Een team van onderzoekers bij Qualcomm AI Research heeft een nieuwe aanpak ontwikkeld genaamd MoNe, waarmee deze kunstmatige intelligentiemodellen enorme hoeveelheden informatie kunnen verwerken zonder dat ze opnieuw getraind hoeven te worden of hun hardware te overbelasten. In plaats van de computer te dwingen om telkens de volledige geschiedenis van een gesprek of document opnieuw te lezen wanneer hij een vraag beantwoordt, werkt MoNe als een gespecialiseerd notitieblok waarin het model schrijft terwijl het leest. Het systeem verwerkt de lange tekst in kleine, hanteerbare stukjes. Terwijl het elk stukje leest, werkt het dit interne notitieblok bij door de essentiële informatie in een compacte vorm te distilleren. Zodra de volledige tekst is gelezen en het notitieblok vol is, kan het model vragen beantwoorden met behulp van alleen de inhoud van dat notitieblok. Cruciaal is dat het model nooit meer naar de oorspronkelijke lange tekst hoeft te kijken. Dit ontwerp betekent dat de kosten voor het beantwoorden van een vraag gelijk blijven, ongeacht of het oorspronkelijke document een korte e-mail of een roman van honderdduizend woorden is.
De onderzoekers testten deze methode op een standaard reeks uitdagingen die ontworpen zijn om te zien of een model een specifiek feit kan vinden dat diep verborgen zit in een grote stapel tekst, een taak die vaak wordt omschreven als het zoeken naar een speld in een hooiberg. Ze testten ook het vermogen om veelgebruikte woorden te extraheren en om problemen op te lossen die het verbinden van meerdere stukjes informatie vereisen die verspreid over de tekst liggen. Wanneer de tekstlengte binnen de oorspronkelijke trainingslimieten van het model bleef, presteerde de nieuwe methode bijna perfect en presteerde zij beter dan standaardbenaderingen die proberen alles in één keer te lezen. Nog indrukwekkender was dat toen de onderzoekers het systeem dwongen om tekstlengtes te verwerken die ver boven wat het model oorspronkelijk was ontworpen, tot wel één hundreden-en-twintigduizend tokens, de nieuwe methode met hoge nauwkeurigheid bleef werken. In contrast hiermee faalde de standaardbenadering, die probeert de hele tekst in één keer te lezen, volledig naarmate de tekst langer werd, waarbij de nauwkeurigheid naar bijna nul zakte. Een veelvoorkomende alternatieve methode, die probeert relevante tekstfragmenten te zoeken, had ook moeite wanneer het antwoord het samenvoegen van veel verschillende, verspreide feiten vereiste.
De efficiëntiewinst van deze nieuwe methode is aanzienlijk. Bij de langste geteste tekstlengte vonden de onderzoekers dat hun benadering de benodigde computerkracht met ongeveer tachtig procent verminderde vergeleken met de standaardmethode. Het verminderde ook de piekgeheugeneisen met dezelfde marge. Dit is een cruciale verbetering omdat het betekent dat krachtige redeneringen met een lange context uiteindelijk kunnen draaien op apparaten met beperkte middelen, in plaats van te vereisen dat er enorme, dure servers worden gebruikt. Het systeem bereikt dit door de geheugenvoetafdruk constant te houden; de grootte van het interne notitieblok groeit niet naarmate de tekst langer wordt. De onderzoekers toonden aan dat dit systeem aan bestaande, vooraf getrainde modellen kan worden gekoppeld zonder hun kernstructuur te veranderen, waarbij slechts een kleine hoeveelheid extra gegevensopslag wordt toegevoegd. Ze lieten ook zien dat het systeem kon generaliseren naar tekstlengtes die eenendertig keer langer waren dan waarvoor het getraind was, simpelweg door de tekst in vaste segmenten te verwerken en de interne status stap voor stap bij te werken.
Hoewel de huidige experimenten zich concentreerden op specifieke retrieval-taken met behulp van een bepaald modelformaat, suggereren de resultaten een levensvatbaar pad vooruit om kunstmatige intelligentie beter in staat te maken om met real-world, langdurige informatie om te gaan. De methode vereist niet het bouwen van volledig nieuwe soorten computerbreinen vanaf de grond af, noch vereist het dat het model wordt opnieuw getraind op enorme nieuwe datasets. In plaats daarvan introduceert het een lichtgewicht, modulaire toevoeging die informatie on the fly comprimeert. Dit stelt het systeem in staat om een helder, constant geheugen van het verleden te behouden terwijl de kosten voor het nadenken over het heden laag blijven. Naarmate de vraag naar kunstmatige intelligentie die kan redeneren over urenlange gesprekken of duizenden pagina's aan documentatie groeit, biedt deze aanpak een praktische manier om die systemen snel, efficiënt en in staat te houden om de volledige context van de wereld te begrijpen waarin ze gevraagd worden te navigeren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.