Text to Automata Diagrams: Comparing TikZ Code Generation with Direct Image Synthesis

Deze studie toont aan dat het combineren van menselijke correcties met visueel-taalmodellen en grote taalmodellen de nauwkeurigheid van het genereren van TikZ-code uit handgetekende automata-diagrammen aanzienlijk verbetert, wat waardevolle inzichten biedt voor geautomatiseerde beoordeling en toegankelijker onderwijsmateriaal in de informatica.

De kern

Stel je voor dat je een klas vol studenten hebt die net een moeilijke wiskundeproefwerk hebben gemaakt. In plaats van alleen cijfers, moeten ze hun antwoorden tekenen: complexe diagrammen met kringetjes, pijltjes en labels. Dit zijn automata-diagrammen, de taal van computers die uitlegt hoe ze denken.

Het probleem? Deze tekeningen zijn vaak rommelig. Sommige pijltjes missen, andere staan op de verkeerde plek, en de handschriften zijn allemaal anders. Een docent moet al die rommelige vellen nakijken, wat veel tijd kost.

De onderzoekers van dit paper hebben een slimme oplossing bedacht: een digitale tolk die deze rommelige tekeningen omzet in perfecte, schone digitale versies. Maar hoe werkt dat precies? Laten we het vergelijken met het vertalen van een rommelig recept naar een professioneel kookboek.

Het Experiment: De Drie Stappen van de "Digitale Tolken"

De onderzoekers hebben een proces opgezet dat bestaat uit drie hoofdstappen, alsof je een boodschapper hebt die een boodschap moet doorgeven aan een architect.

Stap 1: De "Blinde" Vertaler (De AI die de tekening bekijkt)

Eerst nemen ze een foto van een studenten-tekening en sturen die naar een slimme computer (een zogenaamd Vision-Language Model, ofwel een AI die zowel kan zien als lezen).

• De analogie: Stel je voor dat je een foto van een rommelig kookrecept op de vloer laat zien aan een robot. De robot moet proberen te beschrijven wat er staat.
• Het resultaat: De robot probeert te beschrijven wat hij ziet, maar hij maakt vaak fouten. Misschien zegt hij: "Er is een kom met aardappelen," terwijl er eigenlijk een kom met aardappelen en een lepel mist. De AI ziet de grote lijnen, maar mist de kleine, cruciale details.

Stap 2: De Menselijke Redacteur (De "Kwaliteitscontroleur")

Hier komt het menselijke element. Een echte mens leest de beschrijving van de robot en corrigeert de fouten.

• De analogie: Een ervaren chef-kok kijkt naar het rapport van de robot en zegt: "Wacht even, de robot heeft vergeten dat er een snufje zout bij moet, en die lepel hoort hier niet." De chef schrijft het recept dan netjes en correct op.
• Het resultaat: De beschrijving is nu perfect. Alles klopt, niets is vergeten.

Stap 3: De Architect (De AI die de code schrijft)

Nu nemen ze die beschrijvingen (zowel de rommelige versie van de robot als de perfecte versie van de chef) en sturen ze naar een andere AI. Deze AI is een expert in een speciale programmeertaal genaamd TikZ. TikZ is als een bouwplan voor tekeningen; het vertelt de computer precies hoe hij de diagrammen moet tekenen.

• De analogie: De architect krijgt twee bouwplannen: één gebaseerd op het rommelige rapport van de robot, en één op het perfecte recept van de chef. De architect bouwt dan twee nieuwe huizen (digitale diagrammen) op basis van deze plannen.

Wat Vonden Ze? De Grote Verassing

De onderzoekers hebben de twee nieuwe "huizen" vergeleken met het originele, rommelige studenten-tekening. Hier zijn de belangrijkste ontdekkingen, vertaald naar alledaags taal:

1. De "Blind" AI is niet genoeg: Als je de rommelige beschrijving van de robot direct gebruikt, krijg je een digitaal diagram dat vaak nog steeds fouten bevat. Pijltjes missen, of de "start" en "stop" plekken zijn verkeerd. Het is alsof je een huis bouwt op basis van een onvolledig bouwplan; het ziet er misschien uit als een huis, maar deuren zitten op de verkeerde plek.
2. Menselijke correctie is goud waard: Toen ze de gecorrigeerde beschrijvingen gebruikten, waren de nieuwe digitale diagrammen veel beter. Ze leken veel meer op wat de student bedoelde. De menselijke "chef" heeft de AI geholpen om de details te zien die de robot over het hoofd zag.
3. TikZ is de winnaar: Het meest interessante was dat het proces waarbij ze eerst de beschrijving omzetten in code (TikZ) en dan die code laten compileren tot een plaatje, beter werkte dan als de AI direct een plaatje probeerde te genereren.
   • De metafoor: Het is alsof je een schilderij probeert te maken door direct met een kwast te werken (directe beeldgeneratie) versus eerst een exacte technische tekening maken en die dan laten uitvoeren door een machine (TikZ). De technische route gaf veel scherpere en nauwkeurigere resultaten.

Waarom is dit belangrijk?

Stel je voor dat dit systeem in elke school wordt gebruikt:

• Voor de docent: Het is alsof je een robot-assistent hebt die automatisch de rommelige tekeningen van 30 studenten omzet in schone, digitale versies. De docent kan dan direct zien: "Ah, deze student heeft een pijltje vergeten," of "Deze student heeft de verkeerde startknop gekozen." Het maakt het nakijken sneller en eerlijker.
• Voor de student: Het maakt het leren toegankelijker. Als je een tekening maakt, krijg je direct een schone, digitale versie terug die je kunt gebruiken om te studeren.

Conclusie in één zin

Dit onderzoek laat zien dat AI geweldig is in het begrijpen van de grote lijnen, maar dat we nog steeds een menselijke "chef" nodig hebben om de kleine details te corrigeren, zodat we uiteindelijk perfecte, digitale bouwplannen kunnen maken voor complexe wiskundige diagrammen.

Technische samenvatting

Probleemstelling

In het hoger onderwijs voor informatica, met name bij vakken zoals automata-theorie en formele talen, gebruiken studenten vaak handgetekende schetsen om concepten uit te leggen, problemen op te lossen of systemen te modelleren. Deze diagrammen (zoals eindige automaten, Turing-machines en pushdown-automaten) variëren sterk in lay-out, notatie en correctheid.
De uitdaging voor het onderwijs is het automatisch evalueren van deze handgetekende diagrammen. Bestaande visuele modellen hebben moeite om deze informele schetsen nauwkeurig te interpreteren en om te zetten in gestructureerde digitale representaties. Het doel van dit onderzoek is om te bepalen of een pipeline die bestaat uit visuele taalmodellen (VLM), menselijke correctie en grote taalmodellen (LLM) voor code-generatie, in staat is om deze handgetekende diagrammen nauwkeurig te reconstrueren in een digitaal formaat (TikZ).

Methodologie

De auteurs ontwikkelden een reconstructie-pipeline en vergeleken verschillende benaderingen aan de hand van een dataset van ongeveer 190 gescande studentendiagrammen (afkomstig van examens en opdrachten).

1. Dataverzameling: De dataset bevat diverse diagrammen (DFA, NFA, Turing-machines, etc.) met variaties in correctheid en stijl. Alle beelden zijn geanonimiseerd.
2. Generatie van Tekstbeschrijvingen: Een visueel taalmodel (GPT-4o) werd gebruikt om tekstuele beschrijvingen van de gescande diagrammen te genereren. Drie prompt-strategieën werden getest:
   • Alleen het diagram.
   • Diagram + de originele examenvraag (om ambiguïteit te verminderen).
   • Diagram + een voorbeeld (one-shot learning).
   • Resultaat: Prompts met de examenvraag leverden de meest consistente structuur op.
3. Menselijke Correctie: Elke gegenereerde tekstbeschrijving werd gecontroleerd en gecorrigeerd door menselijke annotatoren om structurele onnauwkeurigheden, ontbrekende overgangen en verkeerde labels te verhelpen.
4. Generatie van TikZ-code: Zowel de ruwe (onbewerkte) als de menselijk gecorrigeerde tekstbeschrijvingen werden ingevoerd in een LLM om LaTeX TikZ-code te genereren.
5. Compilatie en Evaluatie: De gegenereerde TikZ-code werd gecompileerd tot afbeeldingen. Deze werden vergeleken met de originele handgetekende diagrammen via:
   • Semantische analyse: Vergelijking van tekstuele beschrijvingen (BLEU, METEOR, ROUGE-L).
   • Visuele evaluatie: Twee menselijke beoordelaars scoorden de gegenereerde diagrammen op een 5-puntsschaal (van "volledig incorrect" tot "volledig consistent") op basis van overeenkomst in toestanden, overgangen en acceptatiecondities.

Belangrijkste Bijdragen

• Vergelijking van Pipelines: Het onderzoek vergelijkt direct beeldgeneratie vanuit tekst versus beeldgeneratie via gecompileerde TikZ-code.
• Impact van Menselijke Interventie: Het demonstreert dat menselijke correctie van VLM-gegenereerde beschrijvingen essentieel is voor de kwaliteit van de downstream-taak (code-generatie).
• Prompt Engineering inzichten: Het toont aan dat het toevoegen van context (de examenvraag) en voorbeelden de nauwkeurigheid van de tekstuele beschrijvingen significant verbetert.
• Openbare Dataset en Pipeline: De studie biedt een framework voor het reconstrueren van educatieve diagrammen, wat een eerste stap is naar geautomatiseerd beoordelen.

Resultaten

De resultaten tonen duidelijk aan dat menselijke correctie en het gebruik van TikZ-compilatie cruciaal zijn voor succes:

• Tekstuele Similariteit: De menselijk bewerkte beschrijvingen verschilden aanzienlijk van de ruwe output (lage BLEU-scores, maar hoge ROUGE-L/METEOR), wat aangeeft dat menselijke correctie voornamelijk structurele fouten verholpen in plaats van alleen tekstuele variaties.
• Directe Beeldgeneratie vs. TikZ:
  • Diagrammen direct gegenereerd uit de bewerkte beschrijvingen scoorden gemiddeld 3,6/5.
  • Diagrammen gegenereerd uit de ruwe beschrijvingen scoorden gemiddeld 2,85/5.
  • Diagrammen gegenereerd via TikZ-code (gecompileerd uit bewerkte beschrijvingen) scoorden aanzienlijk hoger: 4,65/5.
  • Diagrammen via TikZ uit ruwe beschrijvingen scoorden 2,95/5.
• Foutpatronen: Zonder menselijke correctie misten de gegenereerde diagrammen vaak overgangen, hadden ze verkeerde acceptatietoestanden of verkeerd geplaatste labels. De TikZ-benadering bleek robuuster dan directe beeldsynthese, waarschijnlijk omdat TikZ strikte syntaxis vereist die de LLM beter kan hanteren dan directe pixelgeneratie.

Betekenis en Toekomstperspectief

Deze studie heeft belangrijke implicaties voor het informatica-onderwijs:

• Geautomatiseerd Beoordelen: De methode kan worden gebruikt om studentenantwoorden automatisch te reconstrueren naar een schoon digitaal formaat, waardoor docenten sneller structurele fouten (zoals ontbrekende overgangen) kunnen identificeren.
• Toegankelijkheid: Het creëren van gestandaardiseerde digitale diagrammen uit handgeschreven notities maakt lesmateriaal toegankelijker en beter bruikbaar voor digitale hulpmiddelen.
• Beperkingen en Toekomst: De huidige studie is beperkt tot een kleine dataset en één model. Toekomstig werk richt zich op het uitbreiden van de dataset, het testen van andere modellen, het ontwikkelen van methoden voor automatische detectie van structurele inconsistenties en het verfijnen van prompts voor specifieke soorten automaten.

Kortom, de paper concludeert dat hoewel AI-modellen een goede basis kunnen leggen, menselijke correctie en het gebruik van TikZ als tussenlaag noodzakelijk zijn om hoge kwaliteit en nauwkeurigheid te bereiken bij het reconstrueren van complexe educatieve diagrammen.