Text to Automata Diagrams: Comparing TikZ Code Generation with Direct Image Synthesis

Diese Studie untersucht, wie gut Vision-Language- und Large-Language-Modelle handgezeichnete Automatendiagramme in TikZ-Code umwandeln können, und zeigt, dass menschliche Korrektur der von Modellen generierten Beschreibungen für die Erstellung präziser digitaler Diagramme unerlässlich ist.

Das Wesentliche

Das große Problem: Die "Kritzelei" der Studenten

Stell dir vor, du bist ein Lehrer für Informatik. Deine Studenten müssen in Klausuren komplexe Maschinen zeichnen, sogenannte Automaten. Das sind wie Landkarten für Computerprogramme: Kreise (Zustände) und Pfeile (Übergänge), die zeigen, wie ein Programm denkt.

Das Problem: Die Studenten zeichnen diese Karten oft schnell mit dem Stift auf Papier. Es ist wie eine Skizze auf einer Serviette. Die Kreise sind vielleicht schief, die Pfeile ungenau, und die Beschriftungen kritzeln sie daneben. Wenn du diese Serviette einscannst, sieht ein Computer nur ein chaotisches Bild, keine saubere digitale Karte.

Die Mission: Vom Chaos zur perfekten digitalen Karte

Die Forscher wollten herausfinden: Können moderne KI-Modelle diese "Servietten-Skizzen" lesen, verstehen und in eine perfekte, saubere digitale Zeichnung verwandeln?

Sie haben einen dreistufigen Prozess getestet, den man sich wie eine Küchenkette vorstellen kann:

1. Der Übersetzer (Vision-Language Model): Ein KI-Modell (wie ein sehr gut ausgebildeter Dolmetscher) schaut auf das gescannte Bild und versucht, es in Worte zu fassen. "Hier ist ein Kreis mit 'A', dort geht ein Pfeil zu 'B'..."
2. Der Korrekturleser (Der Mensch): Der Dolmetscher macht Fehler. Er vergisst manchmal Pfeile oder verwechselt Beschriftungen. Ein menschlicher Prüfer liest den Text und korrigiert ihn. Das ist wie das Lektorat vor dem Druck.
3. Der Architekt (LLM & TikZ): Ein zweites KI-Modell nimmt den (korrigierten oder unkorrigierten) Text und schreibt daraus einen Bauplan in einer speziellen Sprache namens TikZ. TikZ ist wie eine sehr präzise Bauanleitung für Diagramme, die am Ende ein perfektes Bild erzeugt.

Was haben sie herausgefunden?

Die Forscher haben drei Dinge verglichen, um zu sehen, was am besten funktioniert:

1. Der Dolmetscher allein vs. Der Dolmetscher mit Hilfe

Wenn die KI nur das Bild sah, war sie oft verwirrt. Aber wenn man ihr zusätzlich die Prüfungsfrage gab (z. B. "Zeichne eine Maschine, die gerade viele Nullen zählt"), wurde sie viel besser. Es ist, als würdest du jemandem eine Karte zeichnen und ihm sagen: "Ich zeige dir den Weg zum Bahnhof." Ohne diesen Kontext wäre die Zeichnung viel ungenauer.

2. Der direkte Weg vs. Der Umweg über den Bauplan

Das war der spannendste Teil!

• Weg A (Direkt): Die KI versucht, das Bild direkt aus dem Text zu malen. Das Ergebnis war oft etwas verzerrt, wie ein Gemälde, das ein Anfänger gemalt hat. Es sah ähnlich aus, aber die Details stimmten nicht ganz.
• Weg B (Über TikZ): Die KI schreibt erst den Bauplan (Code), und ein Computer kompiliert diesen Code in ein Bild. Das Ergebnis war wie ein perfekt gezeichnetes technisches Diagramm. Es war viel genauer und sauberer.

Die Metapher:
Stell dir vor, du willst ein Haus bauen.

• Weg A ist, als würdest du einem Maler sagen: "Malt mir ein Haus, das aussieht wie auf diesem Foto." Er malt es, aber die Fenster sind vielleicht schief.
• Weg B ist, als würdest du einem Architekten sagen: "Schreibe mir die genauen Maße und Pläne für dieses Haus." Der Computer baut dann das Haus nach diesen Plänen. Das Ergebnis ist perfekt.

3. Die menschliche Korrektur ist Gold wert

Der wichtigste Punkt: Wenn die KI den Text erst einmal selbst geschrieben hatte, enthielt er oft Fehler (fehlende Pfeile, falsche Kreise). Wenn ein Mensch diesen Text korrigierte, bevor der Architekt (TikZ) loslegte, war das Endergebnis fast perfekt.
Ohne menschliche Hilfe war das Endergebnis nur "okay" (ca. 3 von 5 Punkten). Mit menschlicher Hilfe war es "hervorragend" (fast 4,5 von 5 Punkten).

Warum ist das wichtig?

Stell dir vor, du bist ein Lehrer mit 100 Klausuren.

• Heute: Du musst jede Servietten-Skizze einzeln ansehen, prüfen und bewerten. Das dauert ewig.
• Mit dieser Methode: Der Scanner nimmt die Skizze, die KI übersetzt sie, ein Mensch macht einen kurzen Korrekturcheck, und das System erstellt automatisch eine saubere digitale Version.
  • Der Lehrer kann sofort sehen: "Ah, dieser Student hat den Pfeil vergessen!"
  • Es könnte sogar automatisch Feedback geben: "Deine Maschine sieht fast richtig aus, aber du hast einen Übergang übersehen."

Fazit in einem Satz

Die Studie zeigt, dass KI toll darin ist, Bilder in Text zu verwandeln, aber sie braucht noch einen menschlichen "Lektor", um Fehler zu finden. Und wenn man diesen Text dann in einen präzisen Bauplan (TikZ) umwandelt, erhält man viel bessere Ergebnisse als wenn die KI versucht, das Bild direkt zu malen. Es ist eine Brücke zwischen der unordentlichen Welt der Studenten-Skizzen und der sauberen Welt der digitalen Informatik.

Technische Zusammenfassung

1. Problemstellung

In der Informatikausbildung, insbesondere in Kursen zu formalen Sprachen und Automatentheorie, werden Diagramme (z. B. endliche Automaten, Turing-Maschinen) häufig verwendet. Studierende erstellen diese oft handschriftlich für Prüfungen oder Aufgaben. Diese Zeichnungen variieren stark in Layout, Notation und Korrektheit.
Das Ziel der Studie ist es, zu untersuchen, ob aktuelle Vision-Language-Modelle (VLM) und Large Language Models (LLM) in der Lage sind, diese handschriftlichen Diagramme zu analysieren, sie in eine präzise textliche Beschreibung zu überführen und daraus eine digitale, saubere Repräsentation (in TikZ, einer LaTeX-Diagrammsprache) zu generieren. Dies soll die Grundlage für automatisiertes Feedback und Korrektur von Studierendenarbeiten bilden.

2. Methodik

Die Forschung verfolgt einen mehrstufigen Rekonstruktions-Pipeline-Ansatz:

• Datensatz: Es wurden ca. 190 gescannte Diagramme von Studierenden (aus 28 verschiedenen Prüfungsfragen) verwendet. Der Datensatz umfasst deterministische/nicht-deterministische endliche Automaten, Kellerautomaten, Graphen und Turing-Maschinen. Die Daten wurden anonymisiert und IRB-genehmigt.
• Schritt 1: Textgenerierung (VLM): Ein Vision-Language-Modell (GPT-4o) generiert aus den gescannten Bildern textliche Beschreibungen. Drei Prompt-Strategien wurden getestet:
  • Nur Bild (Diagram-only).
  • Bild + Prüfungsfrage (Question-conditioned).
  • Bild + Beispiel + Caption (One-shot).
  • Ergebnis: Die fragenbasierten Prompts lieferten konsistentere Strukturen, waren aber immer noch fehleranfällig (fehlende Übergänge, falsche Zustände).
• Schritt 2: Menschliche Korrektur: Jede maschinell generierte Beschreibung wurde von menschlichen Annotatoren überprüft und korrigiert, um strukturelle Ungenauigkeiten und Unklarheiten zu beheben.
• Schritt 3: TikZ-Code-Generierung (LLM): Sowohl die rohen (korrigierten) als auch die menschlich bearbeiteten Beschreibungen wurden an ein LLM (GPT-4o) übergeben, um TikZ-Code zu generieren.
• Schritt 4: Kompilierung und Evaluation: Der generierte TikZ-Code wurde kompiliert. Die resultierenden Diagramme wurden auf zwei Wegen evaluiert:
  1. Direkter Bildvergleich: Vergleich der direkt aus Text generierten Bilder mit dem Original.
  2. TikZ-basierter Vergleich: Vergleich der kompilierten TikZ-Diagramme mit dem Original.
  • Metriken: Semantische Ähnlichkeit (BLEU, METEOR, ROUGE-L) zwischen rohen und korrigierten Texten sowie eine menschliche Bewertung der Diagramme auf einer 5-Punkte-Likert-Skala (1 = völlig falsch, 5 = vollständig konsistent).

3. Wichtige Beiträge und Ergebnisse

• Notwendigkeit menschlicher Korrektur: Die rein maschinell generierten Beschreibungen enthielten häufig strukturelle Fehler (fehlende Zustände, falsche Übergänge). Die menschliche Nachbearbeitung verbesserte die Qualität der Beschreibungen signifikant.
  • Semantische Ähnlichkeit: Die Scores (BLEU: 0,57; METEOR: 0,68; ROUGE-L: 0,73) zeigen, dass menschliche Korrekturen den lexikalischen Inhalt weitgehend beibehalten, aber strukturelle Fehler beheben.
• Überlegenheit von TikZ gegenüber direkter Bildsynthese:
  • Diagramme, die direkt aus den (korrigierten) Textbeschreibungen generiert wurden, erreichten einen durchschnittlichen Bewertungswert von 3,6 (vs. 2,85 bei unkorrigierten Beschreibungen).
  • Diagramme, die über TikZ-Code generiert und kompiliert wurden, erreichten einen deutlich höheren Wert von 4,65 (vs. 2,95 bei unkorrigierten Beschreibungen).
  • Fazit: Der Weg über TikZ-Code ist robuster und liefert präzisere Ergebnisse als die direkte Bildsynthese aus Text.
• Prompt-Engineering: Die Einbeziehung der ursprünglichen Prüfungsfrage in den Prompt reduzierte die Mehrdeutigkeit und führte zu besseren Beschreibungen. One-Shot-Prompts waren effektiv, wenn das Beispiel dem Ziel-Diagramm strukturell sehr ähnlich war.
• Fehleranalyse: Häufige Fehler in den Rohdaten waren fehlende oder zusätzliche Übergänge, falsch gekennzeichnete Akzeptierzustände und falsch platzierte Labels.

4. Signifikanz und Anwendung

Die Studie zeigt, dass ein hybrider Ansatz (KI-Generierung + menschliche Validierung + TikZ-Kompilierung) vielversprechend ist für die Informatikdidaktik:

• Automatisiertes Feedback: Es kann eine saubere digitale Version eines studentischen Entwurfs erstellt werden, um strukturelle Abweichungen von einer Referenzlösung zu identifizieren.
• Unterstützung bei der Bewertung: Dozenten können durch das System Hinweise auf fehlende Übergänge oder falsche Zustände erhalten, was die manuelle Korrekturzeit reduziert.
• Zugänglichkeit: Die Methode ermöglicht die Umwandlung unstrukturierter handschriftlicher Notizen in standardisierte, zugängliche Lehrmaterialien.

5. Fazit und Ausblick

Die Studie bestätigt, dass aktuelle Modelle zwar grundlegende Layouts erfassen, aber ohne menschliche Intervention oft strukturelle Fehler in der Rekonstruktion von Automatendiagrammen machen. Der Weg über die Generierung von TikZ-Code erweist sich als überlegen gegenüber direkter Bildsynthese. Als zukünftige Arbeiten plant das Team die Erweiterung des Datensatzes, den Einsatz weiterer Modelle, die Automatisierung der Fehlererkennung in den Beschreibungen und groß angelegte Evaluierungen.