MOSAIC: Multi-Objective Search for Allocating Inference Cache Across LLM Decoder Layers
MOSAIC is een multi-objective neural architecture search-framework dat de per-laag KV-cache-budgetten voor long-context LLM-inferentie optimaliseert, waarbij het consistent beter presteert dan uniforme allocatie over diverse modellen en eviction-methoden door hogere taakscores te behalen met aanzienlijk verminderd geheugengebruik.
Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Grote taalmodellen zijn de motoren achter veel van de meest geavanceerde kunstmatige intelligentietools van vandaag, in staat om enorme documenten te lezen of lange gesprekken te voeren. Deze modellen worden echter geconfronteerd met een fysieke beperking wanneer ze lange reeksen tekst moeten verwerken: ze moeten een groeiende hoeveelheid tijdelijke informatie in hun computergeheugen opslaan om bij te houden wat ze al hebben gelezen. Dit opslaggebied, bekend als een key-value cache, breidt zich lineair uit met de lengte van de tekst. Voor een model dat probeert een boeklengte document te begrijpen, kan deze geheugeneis zo massief worden dat het de capaciteit van standaard computerhardware overstijgt, waardoor het systeem gedwongen wordt te stoppen of informatie weg te gooien.
Om dit op te lossen, hebben onderzoekers methoden ontwikkeld om selectief te zijn over welke informatie behouden moet worden. Deze technieken werken als een filter die beslist welke delen van de tekst belangrijk genoeg zijn om in het geheugen te bewaren en welke veilig vergeten kunnen worden. Tot nu toe pasten deze filters dezelfde strikte regels toe op elk deel van de interne verwerking van het model. De aanname was dat elke laag van het brein van het model dezelfde hoeveelheid geheugen nodig had om zijn werk te doen. Dit nieuwe onderzoek daagt die aanname uit en stelt voor dat verschillende lagen eigenlijk verschillende hoeveelheden ruimte nodig hebben, en dat het geven van gelijke delen aan hen een verspilling van middelen is.
Een team van onderzoekers heeft een nieuwe methode geïntroduceerd genaamd MOSAIC, die automatisch uitrekent hoeveelheid geheugen die perfect aan elke laag van een groot taalmodel kan worden toegewezen. In plaats van het model te behandelen als een uniforme blok waarbij elke sectie een gelijk deel van de geheugentaart krijgt, behandelt MOSAIC de lagen als individuen met unieke behoeften. Het systeem gebruikt een geavanceerd zoekproces om duizenden verschillende manieren te testen om geheugen te verdelen. Het zoekt naar een specifiek patroon waarbij sommige lagen meer ruimte krijgen terwijl andere minder krijgen, terwijl er wel binnen een totale geheugenlimiet blijft. Het doel is om de rangschikking te vinden die het model in staat stelt om vragen te beantwoorden of teksten samen te vatten met de hoogste nauwkeurigheid, zonder dat het geheugen vol raakt.
De onderzoekers testten deze aanpak op twee populaire grote taalmodellen en vergeleken het met de standaardmethode waarbij elke laag dezelfde hoeveelheid geheugen krijgt. Ze evalueerden de modellen op een verscheidenheid aan moeilijke taken, waaronder complexe leesvaardigheid, codegeneratie en het samenvatten van lange documenten. De resultaten lieten zien dat de nieuwe methode consequent beter presteerde dan de oude methode in het overgrote deel van de gevallen, waarbij het de uniforme toewijzing versloeg in 146 van de 154 testomgevingen. In sommige gevallen was de verbetering spectaculair, waarbij het model bijna vijftig punten won op een gestandaardiseerde test voor begrip van lange contexten. Misschien nog belangrijker is dat de nieuwe methode de modellen in staat stelde om dezelfde hoge prestaties te leveren met tot wel vier keer minder geheugen dan voorheen. Dit betekent dat de modellen langere teksten kunnen verwerken of kunnen draaien op kleinere, goedkopere computers.
Een van de meest verrassende bevindingen was dat de beste geheugenverdeling niet willekeurig was. De zoektocht onthulde een consistent patroon: een kleine groep lagen in het midden van het model had consequent meer geheugen nodig dan de lagen aan het begin of het einde. De lagen aan het begin en het einde konden goed functioneren met minder ruimte, terwijl de middelste lagen fungeerden als de kritieke flessenhals waar informatie moest worden bewaard. Door geheugen te verschuiven van de lagen die het niet nodig hadden naar de lagen die dat wel nodig hadden, werd het systeem veel efficiënter. Deze ontdekking suggereert dat de interne structuur van deze modellen niet uniform is; verschillende delen van het netwerk spelen verschillende rollen en vereisen verschillende middelen om optimaal te functioneren.
De onderzoekers ontdekten ook dat dit optimale patroon eenmaal ontdekt kon worden en vervolgens toegepast kon worden op veel verschillende geheugenlimieten. Ze hoefden geen nieuwe, dure zoektocht uit te voeren voor elke specifieke geheugengrootte die een gebruiker zou willen. In plaats daarvan vonden ze een "winnende vorm" voor de geheugenverdeling en schaalden deze simpelweg omhoog of omlaag. Dit betekent dat een enkele, eenmalige zoektocht de oplossing kan bieden voor elke toekomstige geheugenbeperking, wat de methode praktisch maakt voor echt gebruik. Het systeem werkt door de ideale balans offline te leren, voordat het model ooit wordt gebruikt om een vraag te beantwoorden, zodat het geen extra vertraging toevoegt tijdens daadwerkelijk gebruik.
Wanneer het wordt vergeleken met andere recente pogingen om dit probleem op te lossen, verkende deze nieuwe aanpak een veel grotere ruimte van mogelijkheden. Terwijl andere methoden slechts enkele variaties tegelijk testten, evalueerde dit systeem slechts een fractie van de totale mogelijke configuraties—het scande een zoekruimte die miljarden keren groter is dan die van eerdere methoden, terwijl het slechts enkele honderden kandidaten evalueerde om de beste oplossing te vinden. Ondanks het feit dat het naar zoveel meer opties keek, vereiste het minder computeruren om de beste oplossing te vinden. De studie bevestigt dat het oude idee om elke laag hetzelfde te behandelen inefficiënt is. Door te erkennen dat sommige delen van het model kritieker zijn dan andere en de middelen dienovereenkomstig toe te wijzen, kunnen we deze krachtige tools sneller, goedkoper en in staat maken om veel langere contexten te begrijpen dan voorheen voor mogelijk werd gehouden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.