Cognitive-structured Multimodal Agent for Multimodal Understanding, Generation, and Editing
Dit artikel introduceert een cognitief gestructureerde multimodale agent die de beperkingen van monolithische unificatiemodellen bij taken met een lange horizon overwint door visuele informatie te externaliseren naar een episodisch geheugen met gestructureerde abstractie en retrieval, waarmee een superieure nauwkeurigheid en efficiëntie wordt bereikt ten opzichte van grotere baselines, terwijl tegelijkertijd een schaalbaar tool-augmented deployment-framework wordt geboden.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een lang, diep gesprek wilt voeren met een vriend die ook een kunstenaar is. Je wilt praten over een berg die je hebt gezien, dan een tekening van die berg maken, dan het weer in die tekening veranderen, dan inzoomen op een cel die je in een biologieboek zag, die cel bewerken, en tot slot helemaal teruggaan naar die berg om een meteorenregen toe te voegen.
De meeste "super-slimme" AI-modellen van nu proberen dit te doen door elke enkele afbeelding en elk woord dat je ooit naar hen hebt gestuurd in hun actieve brein te houden (een "context window" genoemd). Het is alsof je probeert een bibliotheek aan boeken in je handen te houden terwijl je één pagina probeert te lezen. Naarmate het gesprek langer wordt, raken je handen te vol, laat je dingen vallen en begin je door de war te raken over welk boek bij welk verhaal hoort. Het papier noemt dit de "visual token explosion" (visuele token-explosie), en het betoogt dat het simpelweg groter maken van het AI-brein (het toevoegen van meer parameters) dit probleem niet oplost; het maakt de bibliotheek alleen maar zwaarder om te dragen.
Het Grote Idee van het Papier: De "Slimme Bibliothecaris"-Agent
In plaats van de hele bibliotheek in de handen van de AI te proppen, stelt de auteur een nieuw systeem voor genaamd de Cognitive-structured Multimodal Agent. Zie deze agent niet als één enkel brein, maar als een zeer georganiseerd team met drie specifieke rollen:
- De Perceptual Abstraction Engine (PAE): Dit is de "Bibliothecaris". Wanneer je een afbeelding aan de agent laat zien, houdt hij niet het hele enorme afbeeldingsbestand in de actieve chat. In plaats daarvan schrijft hij snel een net samenvattingskaartje (met tags, een beschrijving en een kleine thumbnail) en slaat hij dit op in een speciale Episodische Visuele Geheugen. Het is alsof je een foto van een boekomslag maakt, een samenvatting van één zin op een kaartje schrijft en dan het zware boek in de kast zet.
- De Cognitive Retrieval Engine (CoRE): Dit is de "Zoeker". Wanneer je een vraag stelt over iets van 15 beurten geleden, kijkt de Zoeker niet naar elke kaart in de bibliotheek. Hij gebruikt een slim beleid om alleen de specifieke kaarten te vinden die relevant zijn voor je huidige vraag.
- De Multimodal Executive Controller (MEC): Dit is de "Manager". Hij kijkt naar wat je heeft gevraagd, pakt de specifieke kaarten die de Zoeker heeft gevonden, en beslist: "Moeten we een nieuwe afbeelding tekenen? Een oude bewerken? Of gewoon chatten?" Vervolgens stuurt hij de instructies naar het juiste hulpmiddel.
Waarom Dit Ertoe Doet (De Resultaten)
De auteurs hebben deze agent getest tegen de "zware bibliotheek"-aanpak (monolithische modellen) met behulp van een nieuwe benchmark die zij zelf hebben gebouwd: M2CA-Bench. Deze bevat gesprekken van 20 beurten met lastige taken zoals het wisselen van onderwerp of het vergelijken van afbeeldingen van een heel eind terug.
Dit is wat ze vonden:
- Nauwkeurigheid: Hun 8-miljard-parameters agent (die kleiner is dan veel concurrenten) kreeg 91,4% van de retrieval-taken goed in het Engels. In contrast hiermee haalden de grootste "all-in-one" modellen die zij testten (32 miljard parameters) slechts ongeveer 83,2% goed. Het gat werd nog groter bij de moeilijkste vragen, waarbij de grote modellen moeite hadden om details van 20 beurten geleden te onthouden.
- Snelheid: Omdat de agent alleen naar de enkele relevante kaarten kijkt in plaats van naar de hele bibliotheek, was hij bijna twee keer zo snel. Het duurde 12,7 seconden per beurt, vergeleken met 23,1 seconden voor de modellen die probeerden alles te lezen.
- Kwaliteit: Omdat de agent de juiste afbeeldingen onthield, waren de afbeeldingen die hij genereerde of bewerkte veel beter. De auteurs maten dit met een score van een andere AI, en hun agent scoorde een 8,49 (op een schaal van 10) in totaal, waarmee hij de 32-miljard baseline versloeg.
Wat Ze Uitsloten
Het papier betoogt expliciet tegen het idee dat "groter altijd beter is". Ze lieten zien dat het simpelweg opschalen van een enkel, gigantisch model (zoals de 32B baselines) zonder geheugensysteem leidt tot "semantic drift", waarbij de AI vergeet waar het over ging of afbeeldingen door elkaar haalt. Ze ontdekten ook dat het gebruik van alleen tekstsamenvattingen (zonder de kleine visuele thumbnails) om afbeeldingen te onthouden, rampzalig verliep bij moeilijke taken, waarbij de nauwkeurigheid daalde naar ongeveer 24,4%. Dit suggereert dat je voor visueel geheugen echt een visuele "thumbnail" nodig hebt, en niet alleen een tekstuele beschrijving.
Hoe Ze de Agent Hadden Getraind
Je vraagt je misschien af: "Hoe weet de agent welke kaart hij moet pakken?" De auteurs merkten op dat bestaande datasets de AI niet leerden hoe ze oude afbeeldingen moeten ophalen. Daarom bouwden ze een Unified Scenario Engine. Dit is een hulpmiddel dat automatisch duizenden nep-gesprekken genereert, compleet met het "juiste" antwoord over welke afbeelding op elk moment onthouden moet worden. Ze gebruikten dit om hun agent in twee stappen te trainen:
- Eerst gebruikten ze standaard training (SFT) om de Zoeker te leren hoe hij de juiste kaarten kan vinden.
- Daarna gebruikten ze een techniek genaamd Reinforcement Learning (RL). In deze fase krijgt de agent een "beloning" alleen als hij de juiste kaarten kiest én het eindresultaat goed is. Dit leerde de Bibliothecaris (PAE) om betere samenvattingskaarten te schrijven die specifiek de Zoeker later helpen.
De Kernboodschap
De auteurs suggereren dat voor lange, complexe gesprekken die afbeeldingen, tekst en tekeningen bevatten, een gestructureerd geheugensysteem een betere weg is dan simpelweg het brein van de AI groter maken. Ze hebben zelfs een tool uitgebracht genaamd CMA-Harness die dit hele systeem combineert met webzoeken en beeldbewerkingshulpmiddelen, waarmee ze laten zien dat deze "team van specialisten"-aanpak in de echte wereld werkt.
Kortom: Probeer niet alles tegelijk te onthouden. Wees een goede bibliothecaris, houd je kaartjes georganiseerd en trek alleen die erbij die je nodig hebt. Dat is hoe je het langetermijnspel wint.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.