LaTeX Compilation: Challenges in the Era of LLMs

Diese Arbeit analysiert die Grenzen von TeX im Zeitalter von LLMs und stellt Mogan STEM als effizientere, strukturierte WYSIWYG-Alternative vor, die nicht nur bei der Kompilierung und Fehlerlokalisierung überlegen ist, sondern aufgrund seiner geringeren Informationsentropie auch das Fine-Tuning von Sprachmodellen in .tmu-Format begünstigt.

Das Wesentliche

📄 Das große "LaTeX"-Problem: Warum wir einen neuen Schreibstil brauchen

Stell dir vor, du schreibst einen wissenschaftlichen Aufsatz. In der Welt der Wissenschaft ist LaTeX (basierend auf dem alten System TeX) seit Jahrzehnten der König. Es ist wie ein sehr präziser, aber starrer Architekt, der dafür sorgt, dass Formeln und Texte perfekt aussehen.

Aber die Autoren dieses Papers sagen: "Dieser Architekt ist altmodisch und passt nicht mehr in die Welt der Künstlichen Intelligenz (KI)."

Hier ist die Geschichte, warum das so ist und was die Autoren als Lösung vorschlagen.

---

1. Das alte System: Der "Einweg-Koch" (LaTeX/TeX)

Stell dir LaTeX wie einen Koch vor, der ein riesiges Menü für 100 Gäste kocht, aber nur dann anfängt zu kochen, wenn alle Zutaten auf dem Tisch liegen.

• Das Problem mit der "Einweg-Karte": Wenn du im Text nur ein einziges Wort änderst (z. B. "rot" zu "blau"), muss der Koch den ganzen Teller neu kochen. Er kann nicht einfach nur den einen Punkt ändern. Er muss den ganzen Prozess von vorne starten, um zu sehen, ob sich dadurch die Anordnung der anderen Gerichte ändert.
  • Im Paper: Das nennt man "Batch-Processing". Wenn du eine Zeile löschst, muss das ganze Dokument neu berechnet werden, weil sich die Seitenzahlen und Verweise verschieben könnten. Das dauert lange.
• Das "Versteckte-Notizbuch"-Problem: LaTeX schreibt seine Arbeit in ein geheimes Notizbuch (die .aux-Datei). Wenn du eine neue Überschrift hinzufügst, weiß LaTeX im ersten Durchlauf noch nicht, wie sie heißt. Es schreibt erst "???" in den Text. Du musst den Koch also zwei- oder dreimal anweisen, das Gericht zu kochen, damit er das Notizbuch lesen und die Verweise korrigieren kann.
  • Im Paper: Das führt zu mehrfacher Kompilierung. Man muss pdflatex, dann bibtex, dann wieder pdflatex laufen lassen.
• Der "Blinden-Koch": Wenn etwas schiefgeht (z. B. eine Klammer fehlt), sagt der Koch nicht: "Hey, bei Zeile 10 fehlt eine Klammer." Er sagt: "Der ganze Teller ist verbrannt, und zwar bei Zeile 45!" Du musst raten, wo der Fehler eigentlich war.
  • Im Paper: Fehler sind schwer zu lokalisieren, weil der Compiler den Text linear durchläuft und erst am Ende merkt, dass etwas nicht passt.

Zusammengefasst: LaTeX ist wie ein alter, sehr starrer Roboter, der alles auf einmal macht, aber nicht versteht, was er gerade tut. Er ist langsam, wenn man ihn korrigiert, und verwirrend, wenn er Fehler macht.

---

2. Die neue Lösung: Der "WYSIWYG-Baumeister" (Mogan STEM)

Die Autoren stellen Mogan STEM vor. Das ist wie ein moderner, intelligenter Bauarbeiter, der WYSIWYG ("What You See Is What You Get") bedeutet: Was du siehst, ist genau das, was du bekommst.

Stell dir Mogan nicht als Texteditor vor, sondern als einen digitalen LEGO-Baukasten.

• Der Baum aus Bausteinen: In LaTeX ist ein Text wie eine lange Kette von Buchstaben. In Mogan ist der Text wie ein Baum aus LEGO-Steinen. Jeder Absatz, jede Formel und jede Abbildung ist ein eigener, klarer Baustein.
  • Der Vorteil: Wenn du einen Baustein (z. B. ein Bild) änderst, muss der ganze Baum nicht neu gebaut werden. Nur dieser eine Ast wird neu gemalt. Das geht blitzschnell.
• Keine Geheimnotizen mehr: Da Mogan den Baum direkt kennt, weiß es sofort: "Ah, das ist Abschnitt 5." Es muss nicht warten, bis es den ganzen Text durchgelaufen hat, um die Nummerierung zu wissen.
• Fehler sind sofort sichtbar: Wenn du einen Baustein falsch zusammensteckst (z. B. eine Klammer vergisst), leuchtet dieser eine Baustein rot auf. Der Rest des Baumes bleibt intakt und funktioniert weiter. Der Koch (Compiler) bricht nicht zusammen.

---

3. Warum das für KI (LLMs) so wichtig ist

Hier kommt der spannende Teil für die Zukunft. Wir nutzen heute immer mehr Künstliche Intelligenz (LLMs), um Texte zu schreiben oder zu korrigieren.

• Das "Rauschen" in LaTeX: Wenn eine KI LaTeX liest, sieht sie viel "Müll". Zum Beispiel gibt es in LaTeX viele Wege, dasselbe zu schreiben (z. B. \frac{a}{b} oder {a \over b}). Für die KI ist das wie ein verrauschtes Radio: Es weiß nicht genau, welche Regel gilt, weil es zu viele Möglichkeiten gibt. Das macht das Lernen (Fine-Tuning) der KI ineffizient und teuer.
• Die "Klare Sprache" von Mogan: Mogan schreibt alles in einer einzigen, klaren Struktur (wie eine Baum-Liste). Es gibt keine Verwirrung.
  • Das Ergebnis: Die KI lernt viel schneller und braucht weniger Rechenleistung, um Mogan zu verstehen. Das Paper zeigt Experimente, bei denen KI-Modelle mit Mogan-Daten viel schneller lernten und weniger Fehler machten als mit LaTeX.

---

4. Die große Zusammenfassung in Bildern

Das alte System (LaTeX)	Das neue System (Mogan STEM)
Ein alter Koch, der erst kocht, wenn alle Zutaten da sind.	Ein moderner 3D-Drucker, der sofort sieht, was du baust.
Ein langer, verwickelter Faden. Wenn du ihn an einer Stelle schneidest, muss er neu gewickelt werden.	Ein LEGO-Baum. Wenn du einen Stein tauschst, bleibt der Rest stabil.
Ein blindes Notizbuch. Du musst das Buch mehrmals lesen, um die Seitenzahlen zu kennen.	Ein direkter Blick. Du siehst sofort, wo du bist.
Schwierig für KI: Zu viele Möglichkeiten, zu viel "Rauschen".	Perfekt für KI: Klare Struktur, leicht zu lernen.

Das Fazit der Autoren

Die Autoren sagen nicht, dass LaTeX "schlecht" ist. Es war für seine Zeit genial. Aber in der Ära der Künstlichen Intelligenz und des schnellen, interaktiven Arbeitens ist es wie ein Dampfwalze auf einem Skateboard-Park: Zu schwerfällig.

Sie fordern die Wissenschaftler auf, auf Mogan STEM (oder ähnliche moderne Systeme) umzusteigen. Nicht nur, weil es schneller ist, sondern weil es die Sprache der Zukunft für KI-Modelle ist. Wenn wir KI trainieren wollen, die wissenschaftliche Texte versteht und schreibt, sollten wir sie nicht mit dem alten, verstaubten LaTeX füttern, sondern mit dem klaren, strukturierten Mogan.

Kurz gesagt: Es ist Zeit, vom alten "Einweg-Koch" zum modernen "Baumeister" zu wechseln, damit wir schneller schreiben und die KI uns besser helfen kann.

Technische Zusammenfassung

Titel: LATEX Compilation: Challenges in the Era of LLMs

Verfasser: Tianyou Liu, Ziqiang Li, Xurui Liu, Yansong Li

---

1. Problemstellung

Das Papier identifiziert fundamentale Defizite im TEX/LATEX-Ökosystem, die im Zeitalter der Large Language Models (LLMs) und moderner interaktiver Schreibwerkzeuge zunehmend kritisch werden. Obwohl LATEX der De-facto-Standard für wissenschaftliches Publizieren ist, weist es architektonische Schwächen auf, die seine Effizienz, Benutzerfreundlichkeit und Eignung für KI-gestützte Anwendungen einschränken:

• Batch-Verarbeitungs-Modell: LATEX folgt einem strikten linearen Ablauf (Eingabe → Makro-Expansion → Typesetting → Ausgabe). Es gibt keinen persistenten, inkrementell aktualisierbaren Zwischenzustand. Änderungen erfordern oft eine vollständige Neu-Kompilierung, was zu langen Wartezeiten führt.
• Verzögerte Fehlererkennung: Fehler werden oft erst nach mehreren Kompilierungsdurchläufen oder am Ende des Prozesses gemeldet. Die Fehlermeldung zeigt selten den tatsächlichen Ursprung, sondern den Punkt, an dem der Compiler abstürzte (z. B. durch fehlende geschweifte Klammern oder nicht geschlossene Umgebungen).
• Starke Kopplung von Syntax und Semantik: Makros erfüllen gleichzeitig strukturelle und layout-bezogene Aufgaben. Dies erschwert die statische Analyse des Dokumentenbaums und die Implementierung von Refactoring-Tools.
• Kompatibilitätsprobleme: Die Existenz verschiedener Engines (pdfLaTeX, XeLaTeX, LuaLaTeX) führt zu Inkonsistenzen bei Zeichencodierung, Schriftarten und Paketunterstützung.
• Hohe Token-Kosten für LLMs: Die lineare, oft redundante Syntax von LATEX (z. B. verschiedene äquivalente Schreibweisen für Brüche) erhöht die Informationsentropie, was das Training und die Inferenz von LLMs ineffizient macht.

2. Methodik und Gegenentwurf: Mogan STEM

Als Alternative wird Mogan STEM vorgestellt, ein WYSIWYG ("What You See Is What You Get") strukturierter Editor, der auf GNU TeXmacs basiert. Die Methodik stützt sich auf folgende technische Prinzipien:

• Baumstrukturierter Dokumentenrepräsentation: Im Gegensatz zu LATEX, das auf linearen Text und Makro-Expansion setzt, repräsentiert Mogan STEM Dokumente als Baumstruktur (Tree-Structure) im Speicher. Mathematische Formeln und Textblöcke sind explizite Knoten (z. B. als S-Expressions in Scheme).
• Inkrementelles Rendering: Da der Dokumentenbaum explizit ist, können lokale Änderungen (z. B. das Löschen eines Absatzes) sofort und lokal neu gerendert werden, ohne den gesamten Dokumentenfluss neu zu berechnen.
• On-Demand Plugin-Loading: Statt einer riesigen Installation (wie TeX Live mit ca. 6 GB), lädt Mogan Funktionen nur dynamisch, wenn sie benötigt werden. Dies reduziert die Installationsgröße auf ca. 100 MB.
• Strukturelle Fehlerisolierung: Fehler in einem Teil des Baums führen nicht zum Absturz des gesamten Dokuments. Der Rest bleibt renderbar, und Fehlermeldungen sind lokalisiert.
• Format .tmu: Mogan nutzt das proprietäre .tmu-Format, das die Baumstruktur direkt speichert und eine hohe Informationsdichte bietet.

3. Schlüsselbeiträge

1. Analyse der LATEX-Architektur: Eine tiefgehende Untersuchung der historischen Designentscheidungen von TEX, die deren Unfähigkeit zur Unterstützung moderner interaktiver Workflows und KI-Integration aufzeigt (z. B. fehlende AST-Repräsentation, globale Abhängigkeiten).
2. Einführung von Mogan STEM: Vorstellung eines Editors, der die Lücken durch eine strukturierte, baumbasierte Architektur schließt.
3. Experimentelle Validierung: Umfassende Benchmarks, die Mogan STEM gegen LATEX in Bezug auf Kompilierungszeit, Inkremental-Updates und LLM-Performance vergleichen.
4. These zur LLM-Effizienz: Die Behauptung, dass das .tmu-Format aufgrund seiner geringeren Informationsentropie und strukturellen Konsistenz besser für das Fine-Tuning von LLMs geeignet ist als .tex.

4. Ergebnisse

Die Autoren führten Experimente an 6 wissenschaftlichen Papern (aus arXiv) und mit verschiedenen LLMs (Deepseek, Claude, Gemini, ChatGPT) durch:

• Kompilierungs- und Renderzeit:
  • Mogan STEM ist bei der inkrementellen Aktualisierung (z. B. Hinzufügen eines Abschnitts) signifikant schneller als LATEX, da keine globale Neu-Kompilierung nötig ist.
  • Bei der vollständigen Kompilierung ist Mogan in den meisten Fällen ebenfalls schneller, obwohl der WYSIWYG-Editor zusätzliche I/O-Overheads hat. Bei sehr großen Dokumenten (120+ Seiten) kann LATEX aufgrund der reinen Textverarbeitung kurzzeitig schneller sein.
• LLM-Aufgaben:
  • Strukturerkennung: LLMs finden in .tmu-Dateien Referenzen und Dokumentstrukturen schneller und mit weniger Token-Verbrauch, da die Struktur explizit im Baum kodiert ist (im Gegensatz zur Suche im gesamten Text von .tex).
  • Zusammenführung von Dokumenten: Beim Mergen von Dokumenten mit unterschiedlichen Stil-Definitionen (Doc-Styles) scheitern LLMs bei LATEX häufiger an Konflikten. Mogan-Dateien zeigen hier eine höhere Konsistenz und Erfolgsrate.
  • Debugging: LLMs können Fehler in .tmu-Dateien schneller korrigieren, da die Fehlermeldungen präziser sind und den Fehlerort direkt im Baum anzeigen. Bei LATEX sind Logs oft lang und die Fehlerursache schwer zu lokalisieren.
• Fine-Tuning (LoRA):
  • Ein Fine-Tuning-Experiment mit Qwen2.5-7B-Instruct auf mathematischen Formeln zeigte, dass das Modell bei .tmu-Daten (S-Expressions) eine deutlich schnellere Konvergenz und einen niedrigeren Loss (ca. 0,4 vs. 0,7 bei LATEX) erreicht.
  • Begründung: Die geringere Informationsentropie und die fehlende syntaktische Mehrdeutigkeit (z. B. gibt es in Mogan nur eine korrekte Darstellung für einen Bruch, während LATEX \frac{a}{b} und {a \over b} zulässt) erleichtern dem Modell die Vorhersage des nächsten Tokens.

5. Bedeutung und Fazit

Das Papier argumentiert, dass LATEX aufgrund seiner historischen Batch-Verarbeitungs-Architektur an seine Grenzen gestoßen ist, insbesondere im Kontext von KI-gestütztem Schreiben und Echtzeit-Kollaboration.

• Paradigmenwechsel: Mogan STEM demonstriert, dass ein strukturierter, baumbasierter Ansatz nicht nur die Benutzererfahrung verbessert (sofortiges Feedback, keine Kompilierungsfehler), sondern auch die Effizienz von LLMs steigert.
• Zukunftsperspektive: Die Autoren fordern die Forschungsgemeinschaft auf, .tmu (oder ähnliche strukturierte Formate) für das Training von LLMs im wissenschaftlichen Bereich zu nutzen, da diese Formate weniger "Rauschen" enthalten und strukturelle Semantik explizit kodieren.
• Implikation: Während Plattformen wie Overleaf LATEX nur oberflächlich optimieren, bietet Mogan STEM eine fundamentale architektonische Alternative, die besser für die Anforderungen der modernen KI-Ära geeignet ist.

Zusammenfassend stellt das Papier LATEX als ein System dar, das durch seine Designhistorie "technische Schulden" angesammelt hat, die durch einen Wechsel zu strukturierten, WYSIWYG-basierten Editoren wie Mogan STEM überwunden werden können, was sowohl für menschliche Autoren als auch für KI-Modelle erhebliche Vorteile bietet.