Feynman: Knowledge-Infused Diagramming Agent for Scalable Visual Designs

Dit paper introduceert Feynman, een agent die schaalbaar kennisrijke diagrammen genereert met behulp van de Penrose-rendering-engine, waardoor een dataset van meer dan 100.000 uitgelijnde diagram-ondertitelingsparen en een nieuw benchmark voor visueel redeneren, genaamd Diagramma, zijn gecreëerd.

De kern

Stel je voor dat je een meester-architect bent die een stad wil bouwen. Maar in plaats van dat je zelf elke baksteen moet leggen, heb je een zeer slimme, maar soms wat verwarde assistent (een AI) die je helpt.

Dit artikel introduceert FEYNMAN, een slimme digitale assistent die is ontworpen om diagrammen te maken. Denk aan die duidelijke plaatjes in een schoolboek: een molecuul, een stroomdiagram of een wiskundig bewijs.

Hier is hoe het werkt, vertaald naar alledaags taal:

1. Het Probleem: De "Alles-in-één" Valstrik

Tot nu toe probeerden AI's (zoals GPT-4V) om een diagram te maken door alles in één keer te doen: ze moesten eerst het idee bedenken (wat is een watermolecuul?), en toen direct het plaatje tekenen.

• Het resultaat? Het was vaak rommelig. Soms was het idee goed, maar zag het eruit als een kinderkrabbel. Soms zag het plaatje er mooi uit, maar waren de feiten fout. Het is alsof je iemand vraagt om een restaurant te bouwen terwijl ze tegelijkertijd de menukaart moeten schrijven en de kok moeten zijn. Ze raken in de war.

2. De Oplossing: FEYNMAN (De Slimme Chef)

FEYNMAN lost dit op door het werk op te splitsen in twee duidelijke stappen, net zoals een professionele bouwplaat.

Stap 1: Het Ontwerp (De "Ideeën"-fase)
FEYNMAN begint niet met tekenen. Hij denkt eerst na. Hij vraagt zich af: "Wat zijn de belangrijkste onderdelen van dit onderwerp?"

• Voorbeeld: Als we een watermolecuul maken, denkt FEYNMAN: "Oké, we hebben twee waterstofatomen en één zuurstofatoom nodig, en ze moeten verbonden zijn."
• Hij schrijft dit op als een lijstje met feiten, zonder na te denken over kleuren of posities. Dit is het ontwerpplan.

Stap 2: De Vertaling (De "Code"-fase)
Nu komt de magie. FEYNMAN neemt dat lijstje met feiten en vertaalt het naar een speciale taal die computers begrijpen, genaamd PENROSE.

• Denk aan PENROSE als een slimme tekenrobot. Jij geeft de robot een opdracht: "Teken een blauwe bol hier en een rode bol daar, en verbind ze."
• De robot (PENROSE) is heel goed in het zorgen dat de bolletjes niet overlappen, dat de lijnen recht zijn en dat het eruitziet als een professioneel diagram.

3. De "Kritische Jury" (Iteratief Verbeteren)

Soms maakt FEYNMAN een fout in zijn code. Het plaatje komt eruit, maar het ziet er raar uit.

• In plaats van te stoppen, sturen we het plaatje naar een panel van digitale critici (andere AI's).
• Deze critici kijken naar het plaatje en zeggen: "Hé, die tekst is onleesbaar" of "Die lijn hoort hier niet te zijn."
• FEYNMAN luistert, past de code aan, en probeert het opnieuw. Dit doet hij totdat het plaatje perfect is.

4. Waarom is dit zo speciaal? (De "Magische" Variatie)

Dit is het coolste deel. Omdat FEYNMAN eerst het idee (de feiten) scheidt van het plaatje (de vorm), kan hij met één en hetzelfde idee honderden verschillende plaatjes maken.

• Stel je voor dat je een recept hebt voor een cake (het idee).
• Normaal gesproken zou je elke keer dezelfde cake bakken.
• Maar met FEYNMAN kun je zeggen: "Maak vandaag een cake in de vorm van een bloem, morgen als een auto, en overmorgen als een kasteel." Het recept (de feiten) blijft hetzelfde, maar het uiterlijk (de lay-out) verandert.
• Dit zorgt voor een enorme verscheidenheid aan plaatjes die allemaal correct zijn.

5. Het Resultaat: Een Gouden Mijlpaal

Met deze methode heeft het team een grote schat gecreëerd:

• Ze hebben 100.000 perfecte plaatjes met uitleg gemaakt.
• Ze hebben een nieuwe test (een benchmark genaamd DIAGRAMMA) gemaakt om te kijken hoe goed andere AI's zijn in het begrijpen van deze plaatjes.
• Het resultaat? Het is goedkoop, snel, en de kwaliteit is als een schoolboek.

Kort samengevat:
FEYNMAN is als een architect die eerst een blauwdruk tekent en dan een robot de bouw laat uitvoeren, terwijl een team van inspecteurs de bouw controleert. Hierdoor krijgen we niet alleen mooie plaatjes, maar ook plaatjes die waar zijn, en dat in een hoeveelheid die voor mensen onmogelijk is om handmatig te maken.

Technische samenvatting

Probleemstelling

Visueel ontwerp is een cruciale toepassing van geavanceerde multimodale AI-systemen. Ondanks de overvloed aan internetbeelden en tekst, ontbreekt het vaak aan hoogwaardige, goed uitgelijnde beeld-tekstparen die rijk zijn aan kennis. Bestaande grote multimodale modellen (MLLMs) zoals GPT-4V en Gemini hebben moeite met het begrijpen, gebruiken en genereren van eenvoudige visuele objecten die voorkomen in diagrammen. Ze falen vaak in rudimentaire visuele tests, zien grafische structuren slecht en missen een compositiebegrip van visuele attributen en relaties.

Bestaande methoden voor het synthetiseren van visuele data hebben beperkingen:

• Diffusiemodellen genereren rasterafbeeldingen die visueel aantrekkelijk kunnen zijn, maar vaak belangrijke concepten negeren of hallucineren.
• Programma-synthesizers (zoals TikZ) genereren vectorafbeeldingen, maar de taal is complex en het is moeilijk om zowel kennisorganisatie als visuele productie tegelijkertijd correct te laten verlopen.
• Er is een gebrek aan een economische en schaalbare oplossing om diagrammen te genereren die rijk zijn aan domeinspecifieke kennis.

Methodologie: De FEYNMAN Agent

Het paper introduceert FEYNMAN, een agent die diagramgeneratie schaalbaar maakt door kennis-elicitering (het ophalen van concepten) te ontkoppelen van visuele productie (het tekenen van het diagram). De pipeline bestaat uit vier stappen:

1. Idee (Knowledge Planning):

   • FEYNMAN gebruikt een Large Language Model (LLM) om domeinspecifieke kenniscomponenten ("ideeën") te enumereren.
   • In plaats van direct een afbeelding te maken, genereert de agent een lijst met conceptuele kennis (bijv. chemische reacties, wiskundige relaties) die relevant is voor het gekozen domein.

2. Plan (Code Planning):

   • Voor elk idee ontwikkelt de agent een plan om deze concepten te vertalen naar visuele elementen.
   • De agent plant de stappen om een Substance-programma te schrijven (de taal van PENROSE), maar schrijft nog geen uitvoerbare code. Dit zorgt voor een duidelijke scheiding tussen logica en uitvoering.

3. Iteratie (Iterative Visual-Refine):

   • De agent vertaalt het plan naar een compilabele PENROSE-code.
   • De gegenereerde code wordt gecompileerd naar diagrammen.
   • Een panel van visuele rechters (meerdere MLLMs) beoordeelt de diagrammen op kwaliteit (correcte representatie, leesbaarheid, eenvoud, etc.).
   • Op basis van feedback (waarheidswaarden en suggesties) past de agent de code iteratief aan totdat een kwaliteitsdrempel is bereikt of een maximum aantal iteraties is overschreden.

4. Renderen:

   • De definitieve Substance-codes worden gerenderd door het PENROSE-systeem.
   • PENROSE gebruikt een optimalisatie-benadering om de lay-out te bepalen. Dit zorgt ervoor dat de visuele semantiek (de betekenis van het diagram) behouden blijft, terwijl er willekeur wordt ingebracht in de lay-out, kleuren en posities. Dit resulteert in diverse visuele variaties van hetzelfde concept.

Data Generatie en Benchmark:

• Met deze pipeline werd een dataset van meer dan 106.930 goed uitgelijnde diagram-omschrijvingparen gegenereerd.
• Er werd een nieuwe benchmark, DIAGRAMMA, samengesteld met 1.058 meerkeuzevragen die specifiek zijn ontworpen om visuele redeneercapaciteiten te testen. Deze vragen zijn volledig nieuw en niet op het internet te vinden.

Belangrijkste Bijdragen

1. FEYNMAN Agent: Een nieuw type agent dat diagrammen genereert door kennis en visie te scheiden, wat leidt tot een hoge opbrengst van tekstboeken-kwaliteit diagrammen.
2. Schaalbare Dataset: Generatie van een dataset van 106.930 paren (diagram + caption) met een kostprijs van minder dan $400 (gebruikmakend van GPT-4o-mini), wat aantoont dat schaalbare synthetische data economisch haalbaar is.
3. DIAGRAMMA Benchmark: Een nieuwe, schone benchmark voor het evalueren van visueel redeneren bij MLLMs, vrij van contaminatie door bestaande internetdata.
4. Inzicht in Agent-ontwerp: Analyse van hoe multimodale agents kunnen worden gebouwd die opereren op het snijvlak van kennis, visueel ontwerp en code-generatie, inclusief economische analyses.

Resultaten

• Kwaliteit en Diversiteit: FEYNMAN produceerde 10.693 unieke Substance-programma's, die elk werden gerenderd in 10 unieke variaties, wat resulteerde in 106.930 diagrammen. De optimalisatie-engine van PENROSE zorgde voor visuele diversiteit zonder de betekenis te veranderen.
• Benchmark Evaluatie: De DIAGRAMMA-benchmark werd gebruikt om 17 state-of-the-art MLLMs (zoals Claude-3.5-Sonnet, GPT-4o, Gemini-1.5) te evalueren.
  • De resultaten toonden aan dat grotere modellen over het algemeen beter presteren.
  • Computerwetenschapsvragen (die grafische redenering vereisen) bleken het moeilijkst voor alle modellen.
  • Interessant genoeg presteerde de goedkopere Gemini-1.5 Flash beter dan de duurdere Gemini-1.5 Pro op deze benchmark, mogelijk omdat de "versheid" van de data beter aansluit bij de redeneercapaciteiten van het kleinere model.
• Vergelijking met Baselines: FEYNMAN overtrof bestaande methoden zoals AUTOMATIKZ (TikZ-synthese) en Flux-Pro (diffusiemodellen). Flux-Pro faalde vaak in het genereren van leesbare tekst en correcte concepten, terwijl AUTOMATIKZ moeite had met het compileren van complexe TikZ-code en lay-outdiversiteit.

Betekenis en Impact

Dit werk is significant omdat het een oplossing biedt voor het tekort aan hoogwaardige, kennisrijke visuele trainingsdata. Door kennis en visuele productie te ontkoppelen, omzeilt FEYNMAN de beperkingen van huidige generatieve modellen die moeite hebben met complexe, semantisch correcte diagrammen.

De release van de DIAGRAMMA-benchmark en de FEYNMAN-pipeline als open-source project biedt de onderzoeksgemeenschap een krachtig hulpmiddel om de visuele redeneercapaciteiten van AI-systemen nauwkeuriger te meten en te verbeteren. Het bewijst dat het mogelijk is om op grote schaal, goedkoop en kwalitatief hoogstaand wetenschappelijke en educatieve diagrammen te synthetiseren, wat essentieel is voor de volgende generatie multimodale AI.