Exploring Agentic Workflows for Generating High Quality Math Visual Aids

Technische Samenvatting: Het verkennen van agentische workflows voor het genereren van hoogwaardige visuele hulpmiddelen voor wiskunde

Probleemstelling
Wiskundige diagrammen zijn essentieel voor het K-12 onderwijs, omdat ze dienen als zowel onderdeel van de opgave als als ondersteuning voor het begrip van de leerling. Huidige AI-tools, inclusief Large Language Models (LLM's), hebben echter moeite met het betrouwbaar genereren van nauwkeurige en pedagogisch verantwoorde visuele diagrammen, zelfs wanneer ze voorzien zijn van gedetailleerde beschrijvingen. Hoewel state-of-the-art LLM's een succespercentage van 73,9% behalen bij het genereren van diagrammen voor wiskundeproblemen in het midden van de basisschool/voortgezet onderwijs, blijft er een aanzienlijke kloof bestaan wat betreft nauwkeurigheid en educatieve geschiktheid. Een primaire barrière is het gebrek aan robuuste evaluatiemechanismen die systematisch kunnen beoordelen of door AI gegenereerde visuals overeenstemmen met hun beoogde pedagogische doel. Bestaande evaluatiemethoden richten zich vaak op esthetische kwaliteit of algemene semantische overeenstemming, en falen hierdoor in het vastleggen van de genuanceerde vereisten van wiskundige visualisatie.

Methodologie
De auteurs stellen een zelfverbeterende agentische workflow voor die ontworpen is om wiskundige diagrammen te genereren en te verfijnen via een iteratieve feedbackloop. De pijplijn werkt als volgt:

1. Input & Generatie: Het systeem ontvangt een verfijnde tekstuele beschrijving van een wiskundig diagram. Een Diagram Generator produceert een initieel diagram dat wordt gerenderd via TikZ-code.
2. QA-vraaggeneratie: Een QA Generator creëert vier open vragen-antwoordparen op basis van specifieke criteria voor de kwaliteit van visuele hulpmiddelen. De auteurs stelden vast dat open vragen betrouwbaarder zijn dan ja/nee-vragen voor evaluatie. De categorieën voor deze vragen werden verfijnd om zich uitsluitend te richten op nauwkeurigheid en helderheid, waarbij bredere categorieën zoals "geschiktheid" werden verwijderd omdat deze te vaag bleken voor automatische beoordeling.
3. Evaluatie (De Agentische Loop):
   • Evaluator: Een Vision Language Model (VLM) evalueert het gegenereerde diagram aan de hand van de QA-vragen.
   • Hybride Aanpak: De auteurs ontdekten dat het direct evalueren van de TikZ-code, of in combinatie met de gerenderde afbeelding, leidt tot een hogere overeenstemming dan evaluatie op basis van alleen de afbeelding. Dit komt doordat VLMs vaak moeite hebben met ruimtelijk redeneren (bijv. het tellen van objecten, het verifiëren van afstanden), terwijl code-analyse toelaat om structurele eigenschappen nauwkeuriger te verifiëren.
   • Verifier: Een Verifier-model vergelijkt de antwoorden van het VLM met de juiste antwoorden.
4. Feedback & Regeneratie: Als de evaluatie onbevredigende criteria onthult, transformeert een Feedback Extractor de mislukte QA-antwoorden in specifieke feedback. Deze feedback wordt teruggekoppeld naar de generator om de Tikz-code te regenereren. Deze loop gaat door totdat alle QA-criteria zijn voldaan of een maximaal aantal cycli is bereikt.

Belangrijkste Bijdragen

• Agentische Workflow voor Zelfverbetering: Het artikel introduceert een nieuwe workflow waarbij LLM-agenten QA-criteria genereren, en VLMs deze criteria gebruiken om de output van diagrammen te controleren en iteratief te verbeteren in realtime.
• Evaluatiekader: De studie vestigt een kader voor het beoordelen van de afstemming tussen de beoogde wiskundige concepten (in tekstbeschrijvingen) en hun visuele realisaties, waarbij verder wordt gekeken dan eenvoudige esthetische controles.
• Multimodale Verificatie: Het onderzoek toont aan dat het combineren van code-analyse (TikZ) met beeldanalyse de betrouwbaarheid van de QA-evaluatie aanzienlijk verbetert vergeleken met het gebruik van slechts één modaliteit alleen.
• Verfijning van de QA-strategie: De auteurs identificeren dat open vragen die zich richten op nauwkeurigheid en helderheid superieur zijn aan ja/nee-vragen of vage "geschiktheid"-controles voor de automatische controle van diagrammen.

Resultaten
De auteurs voerden een verkennende evaluatie van de workflow uit, wat de volgende voorlopige bevindingen opleverde:

• Menselijke Overeenstemming: De menselijke overeenstemming met de oordelen van de QA-Evaluator nam significant toe wanneer zowel de TikZ-code als het diagram werden verstrekt (97%), vergeleken met alleen de code (81%) of alleen het diagram (68%).
• Impact van Regeneratie: In de eerste ronde waren 24,3% van de QA-criteria niet voldaan. Na één regeneratie daalde dit naar 18,3%, en na een tweede naar 15,9%.
• Kwaliteitsscores: De door mensen waargenomen kwaliteitsscores verbeterden bescheiden van een gemiddelde van 3,4 naar 3,7 na twee rondes van regeneratie.
• Beperkingen: Ondanks de verbeteringen vereiste 70% van de diagrammen nog steeds regeneratie na de eerste poging. De foutanalyse onthulde twee primaire faalmodi:
  1. Onvoldoende QA-dekking: De gegenereerde vragen slaagden er soms niet in om alle kritieke diagramkenmerken te dekken (bijv. focussen op horizontale uitlijning terwijl verticale tussenruimte-fouten werden gemist).
  2. Beperkingen in Ruimtelijk Redeneren: VLMs hadden moeite met nauwkeurig tellen van objecten en ruimtelijke relaties. In specifieke gevallen (bijv. gebalanceerde hangende weegschalen-diagrammen) kon het systeem een fout wel identificeren, maar faalde het in het regenereren van de code om de specifiele structurele fout te corrigeren (bijv. ongelijke tussenruimte), wat wijst op een falen in de stap van codesynthese in plaats van enkel in de evaluatiestap.

Betekenis en Claims
Het artikel beweert voorlopig bewijs te leveren dat agentische workflows met zelfverbeteringsloops de betrouwbaarheid en de educatieve waarde van door AI gegenereerde wiskundige diagrammen kunnen verbeteren. De auteurs benadrukken dat hoewel de aanpak veelbelovend is, de resultaten bescheiden zijn en het systeem nog niet klaar is voor brede implementatie. Het werk benadrukt dat toekomstige systemen sterkere QA-dekking en betrouwbaardere regeneratiecapaciteiten vereisen om de kloof in automatische wiskundige visualisatie volledig te overbruggen. De studie dient als een eerste stap naar het creëren van systemen die van fouten kunnen leren om steeds effectievere visuele hulpmiddelen voor wiskundeonderwijs te genereren.