TikZilla: Scaling Text-to-TikZ with High-Quality Data and Reinforcement Learning

Das Paper stellt TikZilla vor, ein Modell-Familie auf Basis kleiner Qwen-LLMs, die durch die Nutzung eines hochwertigen, vierfach vergrößerten Datensatzes (DaTikZ-V4) und eines zweistufigen Trainings mit überwachtem Fine-Tuning sowie bestärkendem Lernen (RL) mit semantischen Bild-Rückmeldungen die Text-zu-TikZ-Generierung so weit verbessern, dass sie GPT-4o übertrifft und mit GPT-5 gleichzieht.

Das Wesentliche

Stell dir vor, du bist ein Wissenschaftler und musst einen komplexen Bericht schreiben. In diesem Bericht brauchst du oft Diagramme: Flusscharts, Graphen oder chemische Reaktionswege. Früher hast du diese Bilder mühsam mit der Hand gezeichnet oder komplizierte Software bedient.

Heute gibt es KI-Modelle (wie ChatGPT), die dir helfen können. Du sagst ihnen: „Zeichne mir ein Diagramm, das zeigt, wie Wasser durch eine Leitung fließt", und die KI soll das Bild für dich erstellen.

Das Problem ist: Die KI versteht oft nicht genau, wie man ein solches Bild programmiert. Sie versucht, Code zu schreiben, der wie eine Anleitung für einen Maler aussieht (diese Sprache heißt TikZ). Aber oft scheitert die KI. Sie vergisst Linien, setzt Texte an die falsche Stelle oder schreibt so viel Unsinn, dass das Bild gar nicht erst entsteht. Es ist, als würde ein Koch versuchen, ein Rezept zu schreiben, aber er verwechselt Salz mit Zucker und vergisst, den Ofen einzuschalten.

Hier kommt TikZilla ins Spiel. Das ist ein neues, kleines KI-Modell, das von Forschern an der Technischen Universität Nürnberg entwickelt wurde. Es ist wie ein Meisterkoch, der speziell dafür trainiert wurde, perfekte Kochrezepte (also TikZ-Code) zu schreiben.

Hier ist die Geschichte, wie sie das geschafft haben, einfach erklärt:

1. Das Problem mit den alten Kochbüchern (Daten)

Früher haben die Forscher versucht, die KI mit alten Kochbüchern zu trainieren. Diese Bücher (die alten Datensätze) waren aber voller Fehler:

• Die Beschreibungen waren zu kurz oder ungenau („Mach ein Bild von etwas").
• Viele Rezepte (der Code) ließen sich gar nicht kochen (sie waren fehlerhaft).
• Die KI war verwirrt und produzierte nur Chaos.

2. Die Lösung: Ein riesiges, neues Kochbuch (DaTikZ-V4)

Die Forscher haben sich hingesetzt und ein riesiges, neues Kochbuch (den Datensatz DaTikZ-V4) zusammengestellt.

• Größe: Es ist viermal so groß wie alles, was es vorher gab. Sie haben Millionen von Rezepten aus wissenschaftlichen Papers, GitHub und sogar künstlich generierten Beispielen gesammelt.
• Qualität: Sie haben einen „KI-Korrektor" eingesetzt, der alle fehlerhaften Rezepte repariert hat. Wenn ein Rezept nicht funktionierte, hat die KI es so lange umgeschrieben, bis es perfekt kochbar war.
• Beschreibungen: Statt nur zu sagen „Zeichne ein Diagramm", haben sie eine andere KI (ein VLM) gebeten, das Bild extrem genau zu beschreiben. Nicht nur „ein roter Kreis", sondern „ein roter Kreis an Position X mit einem blauen Pfeil, der nach rechts zeigt".

3. Der zweistufige Trainingsprozess

Mit diesem neuen Buch haben sie TikZilla in zwei Schritten trainiert:

Schritt 1: Der Lehrling (SFT)
Zuerst hat TikZilla einfach nur die neuen, perfekten Rezepte auswendig gelernt. Es hat gelernt, wie man die Sprache TikZ grammatikalisch korrekt benutzt. Es war jetzt ein guter Lehrling, der weiß, welche Zutaten (Befehle) man in welcher Reihenfolge braucht. Aber es wusste noch nicht, ob das Bild am Ende auch schön aussieht.

Schritt 2: Der Feinschmecker (Reinforcement Learning)
Hier wird es spannend. TikZilla hat jetzt angefangen, eigene Bilder zu zeichnen. Aber wie weiß man, ob das Bild gut ist?
Die Forscher haben einen KI-Gourmet (einen speziellen Bild-Encoder) gebaut. Dieser Gourmet sieht das von TikZilla gezeichnete Bild und vergleicht es mit dem Original.

• Wenn das Bild gut aussieht, gibt der Gourmet eine positive Bewertung (eine Belohnung).
• Wenn das Bild schief ist oder Linien fehlen, gibt es eine negative Bewertung.

TikZilla hat tausende Male geübt, dabei immer wieder die Bewertung des Gourmets bekommen und sich verbessert. Es hat gelernt: „Aha, wenn ich den Pfeil hier hinmache, schmeckt es besser!" Das nennt man Verstärkungslernen (Reinforcement Learning).

4. Das Ergebnis: Ein kleiner Riese

Das Tolle an TikZilla ist seine Größe. Es ist ein kleines Modell (nur 3 Milliarden oder 8 Milliarden Parameter), während die großen Konkurrenten (wie GPT-4o oder GPT-5) riesige, teure Supercomputer sind.

Trotz seiner geringen Größe hat TikZilla in Tests besser abgeschnitten als die riesigen Modelle:

• Es macht weniger Fehler.
• Die Bilder sehen genauer aus.
• Es braucht weniger Rechenleistung (ist also günstiger und schneller).

Zusammenfassung mit einer Metapher

Stell dir vor, die alten KI-Modelle waren wie Autos ohne Lenkrad: Sie konnten fahren, aber sie steuerten nicht richtig und fuhren oft gegen die Wand.

TikZilla ist wie ein kleiner, sportlicher Rennwagen mit einem genialen Navigator.

1. Der Navigator (der neue Datensatz) hat dem Fahrer alle perfekten Streckenkarten gezeigt.
2. Der Fahrer (das Modell) hat gelernt, wie man das Auto bedient.
3. Ein Trainer (der Reward-Model) hat dem Fahrer bei jeder Kurve gesagt: „Besser! So! Nein, zu scharf!"

Am Ende fährt dieser kleine Rennwagen schneller und sicherer als die riesigen, schweren LKWs (die großen KI-Modelle), die nur schwer zu lenken sind.

Warum ist das wichtig?
Wissenschaftler können jetzt kostenlos und schnell perfekte Diagramme für ihre Papers erstellen, ohne stundenlang Code schreiben zu müssen. Und das Beste: Die Forscher machen alles offen verfügbar, damit jeder davon profitieren kann.

Technische Zusammenfassung

1. Problemstellung

Die Generierung wissenschaftlicher Abbildungen aus Textbeschreibungen ist eine kritische Aufgabe für die Unterstützung von Wissenschaftlern. Der De-facto-Standard für solche Vektorgrafiken im akademischen Umfeld ist TikZ (eine Makrosprache für LaTeX), da sie präzise, interpretierbar und nahtlos in das LaTeX-Ökosystem integriert ist.

Bisherige Ansätze zur Text-zu-TikZ-Generierung durch Large Language Models (LLMs) stießen jedoch auf erhebliche Hindernisse:

• Datenmangel und -qualität: Existierende Datensätze (wie DaTikZ-V3) waren zu klein und verrauscht. Die verfügbaren Bildunterschriften (Captions) waren oft unzureichend, um komplexe räumliche Beziehungen, Farben und Strukturdetails für eine korrekte Rekonstruktion zu erfassen.
• Fehleranfälligkeit: Modelle, die nur durch überwachtes Feinabstimmen (Supervised Fine-Tuning, SFT) trainiert wurden, fehlte das Verständnis für die semantische Bedeutung des gerenderten Bildes. Dies führte zu häufigen Fehlern wie Endlosschleifen im Code, irrelevanten Inhalten, falschen räumlichen Beziehungen und niedrigen Kompilierungsraten.
• Limitierte Feedback-Schleifen: Bestehende Methoden erhielten kein direktes visuelles Feedback, um die Übereinstimmung zwischen Text und generiertem Bild zu bewerten.

2. Methodik

Die Autoren schlagen einen umfassenden Ansatz vor, der aus drei Hauptkomponenten besteht: einem neuen Datensatz, einem zweistufigen Trainingsverfahren und einem domänenspezifischen Belohnungsmodell.

A. Datensatz: DaTikZ-V4

Um die Datenbasis zu skalieren, wurde DaTikZ-V4 entwickelt, der über 2 Millionen einzigartige TikZ-Instanzen umfasst (mehr als viermal so groß wie der Vorgänger).

• Quellen: Daten stammen von arXiv (bis Mitte 2025), GitHub (ca. 400.000 Repositories), TeX StackExchange und synthetischen Daten.
• Qualitätssicherung:
  • LLM-basiertes Debugging: Ein Pipeline-Prozess nutzt LLMs (Qwen-32B), um nicht kompilierbaren Code basierend auf Compiler-Error-Logs zu reparieren. Dies erhöhte die Anzahl nutzbarer TikZ-Programme erheblich.
  • VLM-generierte Beschreibungen: Anstatt roher Bildunterschriften wurden Vision Language Models (VLMs, z. B. Qwen2.5-VL) eingesetzt, um präzise, semantisch reiche Textbeschreibungen der TikZ-Figuren zu generieren. Diese enthalten detaillierte Informationen zu Objekten, Attributen und räumlichen Relationen.
  • Filterung: Automatisierte Bereinigung (Entfernung externer Abhängigkeiten, Inline-Kommentare, Standardisierung des \documentclass-Rahmens).

B. Trainings-Pipeline: SFT + RL

Das Modell TikZilla (basierend auf kleinen Open-Source-Modellen der Qwen-Familie: 3B und 8B Parameter) wird in zwei Stufen trainiert:

1. Supervised Fine-Tuning (SFT): Das Modell lernt die TikZ-Syntax und die Verteilung der Tokens basierend auf den Paaren aus VLM-Description und Ground-Truth-TikZ-Code. Dies stellt sicher, dass der Code syntaktisch valide ist.
2. Reinforcement Learning (RL): Um die visuelle Genauigkeit zu verbessern, wird Group Relative Policy Optimization (GRPO) eingesetzt.
   • Belohnungsmodell (Reward Model): Ein entscheidender Innovationsschritt ist die Verwendung eines Bild-Encoders, der für die Aufgabe „Image-to-TikZ" (inverse Grafik) trainiert wurde. Dieser Encoder erzeugt Embeddings für das Ground-Truth-Bild und das generierte Bild.
   • Reward-Berechnung: Die Ähnlichkeit wird nicht durch einfache Metriken wie CLIPScore gemessen, sondern durch die Earth Mover's Distance (EMD) zwischen den Patch-Embeddings der Bilder. Dies erfasst semantische und strukturelle Übereinstimmungen besser. Zusätzlich gibt es einen Format-Reward für korrekte LaTeX-Strukturen.

3. Wichtige Beiträge

• Analyse der Caption-Qualität: Die Studie zeigt, dass herkömmliche Bildunterschriften für die Rekonstruktion wissenschaftlicher Figuren unzureichend sind, während VLM-generierte Beschreibungen deutlich detaillierter und genauer sind.
• Skalierung des Datensatzes: Einführung von DaTikZ-V4 mit über 2M Samples, was die bisherige Datenbasis vervierfacht.
• Datenqualitäts-Verbesserungen: Kombination aus regelbasiertem Filtering, VLM-Deskriptionen und einem LLM-Debugging-Pipeline für nicht kompilierbaren Code.
• Domänenspezifisches Reward-Modell: Entwicklung eines ersten Reward-Modells für Text-zu-TikZ, das auf einem für inverse Grafik trainierten Bild-Encoder basiert und eine starke Korrelation mit menschlichen Urteilen aufweist.
• TikZilla-Modelle: Veröffentlichung von kleinen, Open-Source-Modellen (3B/8B), die durch SFT+RL trainiert wurden und kommerzielle Großmodelle übertreffen.

4. Ergebnisse

Die Evaluation erfolgte auf einem kontaminationsfreien Testset (1.047 Samples) und umfasste automatische Metriken sowie eine umfassende menschliche Evaluation (über 1.000 Urteile durch Experten).

• Automatische Metriken: TikZilla-3B-RL und TikZilla-8B-RL erreichten die besten Durchschnittswerte (AVG) in den Metriken CLIPScore, DreamSIM und TeX Edit Distance.
  • TikZilla-3B-RL erreichte einen AVG-Score von 0,385 und TikZilla-8B-RL 0,384.
  • Beide Modelle übertrafen GPT-5 (0,365) und GPT-4o (0,320), obwohl TikZilla-Modelle deutlich kleiner sind.
  • Die Kompilierungsrate (CR) lag bei fast 95–98% (im Vergleich zu ~88% bei GPT-5 und ~50–70% bei anderen Open-Source-Modellen).
• Menschliche Evaluation:
  • TikZilla-3B-RL und TikZilla-8B-RL verbesserten sich um 1,5–2 Punkte auf einer 5-Punkte-Skala gegenüber den Basis-Modellen.
  • In der Bild-Alignment-Bewertung (Übereinstimmung mit dem Ground-Truth-Bild) erreichte TikZilla-8B-RL ein Ergebnis von 3,46, was GPT-5 (3,48) fast gleichkommt und GPT-4o (2,63) deutlich schlägt.
  • TikZilla-3B-RL zeigte ebenfalls starke Ergebnisse (3,30), was die Effizienz kleiner Modelle unterstreicht.
• Effizienz: RL-Tuning führte zu einer Reduktion der Token-Länge (effizienterer Code) und einer höheren Kompilierungsrate, ohne explizite Effizienz-Rewards zu benötigen.

5. Bedeutung und Fazit

Das Paper demonstriert, dass kleine, Open-Source-LLMs durch die Kombination aus hochwertigen, skalierten Daten und domänenspezifischem Reinforcement Learning in der Lage sind, komplexe wissenschaftliche Visualisierungen (TikZ) besser zu generieren als aktuelle, deutlich größere proprietäre Modelle wie GPT-4o oder GPT-5.

Die Arbeit hebt hervor, dass:

1. Die Qualität der Eingabedaten (VLM-Deskriptionen statt roher Captions) entscheidend ist.
2. Ein Reward-Modell, das auf semantischer Bildähnlichkeit (via Inverse Graphics) basiert, effektiver ist als generische Bild-Text-Metriken.
3. Reproduzierbare und effiziente Text-zu-Bild-Systeme auch mit kleinen Modellen (3B Parameter) möglich sind, was die Abhängigkeit von teuren proprietären Lösungen reduziert.

Zukünftige Arbeiten sollten sich auf noch zuverlässigere Annotationsmethoden und die Erweiterung auf andere strukturierte Generierungsaufgaben (z. B. LaTeX-Tabellen, CAD) konzentrieren.