LaTeX Compilation: Challenges in the Era of LLMs

Dit artikel analyseert de beperkingen van TeX in het tijdperk van grote taalmodellen en introduceert Mogan STEM als een efficiënter WYSIWYG-alternatief dat snellere compilatie, betere foutlokalisatie en een lagere informati-entropie biedt voor het fine-tunen van LLM's.

De kern

De Latex-Compilatie: Uitdagingen in het Tijdperk van AI

Stel je voor dat je een heel complexe, prachtige cake wilt bakken. LaTeX (de standaard voor wetenschappelijke papers) is als een oude, zeer strenge bakkerij uit de jaren '80. Je moet alle ingrediënten in een specifieke volgorde in een lijst zetten, en dan wacht je tot de oven (de computer) de hele lijst afwerkt voordat je ook maar één hapje kunt proeven.

Deze paper, geschreven door onderzoekers van universiteiten en Alibaba, stelt dat deze oude bakkerij niet meer past in de moderne wereld, zeker niet nu we slimme computers (AI) gebruiken om te helpen schrijven. Ze introduceren een nieuwe, moderne bakkerij genaamd Mogan STEM.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem met de Oude Bakkerij (LaTeX)

Het "Wacht tot het klaar is"-principe
In de oude bakkerij (LaTeX) schrijf je je recept op een lange lijst van commando's. Als je een foutje maakt (bijvoorbeeld een ontbrekend haakje), moet je de hele lijst opnieuw doorlopen voordat de oven stopt en zegt: "Oeps, ergens hier is een probleem."

• De analogie: Het is alsof je een treinreis plant. Als je op station A een ticket mist, moet je wachten tot de trein helemaal bij station Z is aangekomen voordat je merkt dat je niet kon instappen. Je kunt niet halverwege zeggen: "Hé, ik heb een ticket nodig!"
• Het gevolg: Als je een zinnetje in het midden van je paper verandert, moet de hele computer opnieuw rekenen om te zien of de pagina's nog kloppen. Dit kost tijd en energie.

De "Goocheltruc" van de AI
Nu gebruiken we AI (zoals ChatGPT) om te helpen schrijven. Maar LaTeX is voor AI een nachtmerrie.

• De analogie: Stel je voor dat je een detective bent (de AI) die een raadsel moet oplossen. In LaTeX is het raadsel geschreven in een code die pas zinvol wordt nadat je de hele tekst hebt vertaald. De AI moet de hele tekst "lezen" en "rekenen" om te weten waar een figuur staat of wat een nummer is.
• Het probleem: De AI raakt in de war, maakt fouten, en verbruikt veel "rekenkracht" (tokens) om te proberen te raden wat er bedoeld wordt. Het is alsof je probeert een foto te reconstrueren uit een lijst van pixel-coördinaten in plaats van de foto zelf te zien.

De rommelige werkplek
LaTeX vereist dat je duizenden losse onderdelen (pakketten) installeert, net als een gereedschapskist die vol zit met gereedschap dat je misschien nooit gebruikt. De installatie is zwaar (gigabytes groot), en als je een nieuwe tool wilt, moet je vaak een heel ander type gereedschapskist kopen.

2. De Nieuwe Bakkerij: Mogan STEM

De auteurs introduceren Mogan STEM. Dit is een "WYSIWYG" editor (Wat Je Ziet Is Wat Je Krijgt).

De "Live Bouwtekening"
In Mogan is je document geen lijst met commando's, maar een levende, gestructureerde boom.

• De analogie: In plaats van een recept op papier te schrijven, werk je in een 3D-bouwtekening. Als je een muur (een alinea) verplaatst, zie je direct hoe de rest van het huis verschuift. Er is geen "wachten op de oven". Alles gebeurt direct.
• De boomstructuur: Een wiskundige formule is geen tekst (\frac{1}{2}), maar een echte boom in de computergeheugen. Als je de '1' aanpast, wordt alleen die tak van de boom opnieuw getekend. De rest van de boom blijft rustig staan.

Waarom is dit beter voor AI?
Omdat Mogan een duidelijke, logische structuur heeft (zoals een goed georganiseerde bibliotheek), kan de AI veel sneller begrijpen wat er staat.

• De analogie: Als je de AI vraagt: "Waar staat de definitie van theorema 5?", kan de AI in Mogan direct naar de juiste kast lopen. In LaTeX moet de AI eerst de hele bibliotheek doorzoeken, proberen te raden welke boeken bij elkaar horen, en hopen dat de volgorde van de boeken in de kast klopt.
• Resultaat: De AI maakt minder fouten, werkt sneller, en kost minder "rekenkracht".

De "Op Maat Gemaakte" Installatie
Mogan installeert als een compacte, alles-in-één toolbox. Je hoeft geen duizenden losse onderdelen te downloaden. Je laadt alleen de gereedschappen die je nu nodig hebt.

• Vergelijking: LaTeX is als een gigantisch magazijn dat je moet huren, zelfs als je alleen een hamer nodig hebt. Mogan is als een slimme gereedschapskist die automatisch de juiste sleutel uitrolt als je een bout vastdraait.

3. Wat betekent dit voor de toekomst?

De paper concludeert dat we de oude bakkerij (LaTeX) niet volledig moeten vergeten (het heeft immers een lange geschiedenis), maar dat we moeten overstappen op de moderne bakkerij (Mogan) als we willen werken met AI.

• Snellere resultaten: Geen wachten op compilatie.
• Minder fouten: De AI begrijpt de structuur beter.
• Beter leren: Als je een AI wilt trainen om wetenschappelijke teksten te schrijven, leer je hem beter op de "schone" Mogan-structuur dan op de "rommelige" LaTeX-code.

Kortom:
LaTeX is als een oude, betrouwbare maar trage trein. Mogan STEM is als een moderne, snelle hyperloop. Voor de huidige wereld van kunstmatige intelligentie is de hyperloop niet alleen sneller, hij is ook veiliger en makkelijker te besturen. De auteurs roepen daarom op om te experimenteren met deze nieuwe manier van werken.

Technische samenvatting

Titel: LATEX Compilation: Challenges in the Era of LLMs

Auteurs: Tianyou Liu, Ziqiang Li, Xurui Liu, Yansong Li
Institutionen: Southern University of Science and Technology, Alibaba, Tsinghua University, Liii Network

---

1. Het Probleem: Tekortkomingen van TEX/LATEX in het AI-tijdperk

Hoewel LATEX de de facto standaard blijft voor wetenschappelijk publiceren, toont het artikel aan dat de onderliggende architectuur van TEX fundamenteel ongeschikt is voor de eisen van moderne interactieve workflows en Large Language Models (LLMs). De auteurs identificeren drie kernproblemen:

• Batch-verwerking en gebrek aan incrementele updates: De TEX-compilatiemodel is unidirectioneel en "one-off". Het systeem behoudt geen tussenliggende representatie. Elke wijziging, hoe klein ook, vereist een volledige hercompilatie van het document, inclusief het opnieuw berekenen van paginering, referenties en zwevende objecten. Dit maakt snelle feedbackcycli en real-time preview onmogelijk.
• Vertraging in foutmeldingen en slechte foutlokalisatie: Fouten worden pas gedetecteerd tijdens de uitvoering (post-hoc), vaak op een totaal andere locatie dan waar de fout is ontstaan. De foutmeldingen zijn vaak vaag (bijv. "Runaway argument?") en refereren niet naar de oorspronkelijke oorzaak, wat debugging bemoeilijkt.
• Semantische verwevenheid en complexiteit: In LATEX zijn syntaxis, macro-uitbreiding en typesetting-keuzes diep met elkaar verweven. Er is geen duidelijke scheiding tussen abstracte structuur en visuele opmaak. Dit maakt statische analyse, refactoring en het begrijpen van de documentstructuur door tools (zoals LLMs) extreem moeilijk.
• Ecosysteemfragmentatie: De noodzaak om verschillende engines (pdfLaTeX, XeLaTeX, LuaLaTeX) en tools (BibTeX vs. Biber) te gebruiken voor verschillende functies (Unicode, lettertypes) creëert een hoge cognitieve last en compatibiliteitsproblemen.

2. Methodologie: Analyse en Vergelijkend Experiment

De auteurs hanteren een tweeledige aanpak: een diepgaande architecturale analyse van TEX en een reeks kwantitatieve experimenten.

• Architecturale Analyse: Het paper analyseert de interne werking van TEX (macro-uitbreiding, batch-verwerking, foutopsporing) en vergelijkt dit met moderne principes van gestructureerde editors (zoals GNU TeXmacs).
• Vergelijkend Onderzoek (Mogan STEM vs. LATEX):
  • Mogan STEM: Een WYSIWYG ("What You See Is What You Get") gestructureerde editor gebaseerd op GNU TeXmacs. Het gebruikt een boomstructuur (tree-based) voor documenten en formules, waarbij data functioneel wordt weergegeven (Scheme-code) in plaats van als lineaire tekst.
  • Experimenten: Er werden tests uitgevoerd op zes willekeurige arXiv-papers om prestaties te meten in:
    1. Compilatie- en render-tijden (volledig en incrementeel).
    2. Prestaties van LLM-taken (structuurherkenning, samenvoegen van bestanden, debuggen).
    3. Efficiëntie bij het fine-tunen van modellen (vergelijking van token-entropie tussen .tex en .tmu).

3. Belangrijkste Bijdragen

• Kritische Analyse van TEX: Het paper levert een systematische ontleding van de fundamentele tekortkomingen van TEX, met name de "batch-natuur" die in strijd is met interactief schrijven en AI-gestuurde workflows.
• Introductie van Mogan STEM: De auteurs presenteren Mogan STEM als een alternatief dat de volgende voordelen biedt:
  • Boomgestructureerde Data: Documenten worden intern opgeslagen als een boom van knooppunten (nodes), niet als een tekststroom. Dit stelt lokale updates en directe rendering mogelijk.
  • On-demand Plugin Loading: In tegenstelling tot de zware installaties van TeX Live (6+ GB), laadt Mogan functionaliteit dynamisch, wat leidt tot een klein installatiepakket (~100 MB).
  • Directe Referenties: Citaties en cross-references zijn directe structuurkoppelingen in de boom, waardoor geen meervoudige compilaties nodig zijn.
• LLM-Efficiëntie: Het paper toont aan dat het .tmu-formaat (Mogan's formaat) superieur is voor LLM-taken vanwege de lagere informatie-entropie en de gestructureerde, semantisch duidelijke boomnotatie.

4. Resultaten

De experimentele resultaten bevestigen de superioriteit van Mogan STEM in de geteste scenario's:

• Compilatie- en Render-tijd:
  • Bij volledige compilatie presteert Mogan STEM over het algemeen sneller dan LATEX, zelfs met de extra I/O-kosten van WYSIWYG-editing.
  • Bij incrementele updates (kleine wijzigingen) is Mogan STEM aanzienlijk sneller (factoren van 5x tot 10x sneller in de geteste gevallen), omdat alleen de aangepaste boomknooppunten opnieuw worden gerenderd, in plaats van het hele document.
• LLM-taken:
  • Structuurherkenning: LLMs vinden documentstructuren sneller en met minder tokens in .tmu-bestanden dan in .tex, omdat referenties direct in de boom zijn opgeslagen en niet via een compilatieproces moeten worden afgeleid.
  • Samenvoegen van bestanden: Het samenvoegen van documenten met verschillende stijlen (macro-aliassen) is voor LLMs veel succesvoller in Mogan, omdat de semantische structuur consistent is en er geen conflicten zijn tussen verschillende macro-definities.
  • Debuggen: LLMs kunnen fouten in .tmu-bestanden sneller en nauwkeuriger oplossen omdat foutmeldingen direct verwijzen naar de specifieke boomknooppunten, in plaats van naar verwarrende logbestanden.
• Fine-tuning (SFT):
  • Bij het fine-tunen van een model (Qwen2.5-7B) op wiskundige formules convergeerde het verlies voor Mogan (S-expressies) sneller en lager (ca. 0.4) dan voor LATEX (ca. 0.7). Dit komt doordat Mogan minder "syntaxisruis" heeft en een lagere informatie-entropie, wat het voorspellen van de volgende token voor het model makkelijker maakt.

5. Betekenis en Conclusie

Het artikel concludeert dat de huidige dominantie van LATEX voornamelijk het gevolg is van historische traagheid en path-dependency, niet van technische superioriteit. De onderliggende architectuur van TEX is een "technische schuld" die de evolutie van wetenschappelijk schrijven en AI-integratie belemmert.

• Voor de AI-ontwikkeling: Het gebruik van gestructureerde formaten zoals .tmu voor het trainen en fine-tunen van LLMs is aanzienlijk efficiënter dan het gebruik van LATEX-brontekst. Dit opent de deur voor betere AI-assistenten in wetenschappelijk schrijven.
• Voor de wetenschappelijke gemeenschap: Er is een dringende noodzaak om over te stappen op systemen die WYSIWYG, gestructureerde data en incrementele updates ondersteunen. Mogan STEM wordt gepresenteerd als een bewezen alternatief dat deze eisen vervult.
• Toekomstvisie: De auteurs pleiten voor grootschalige experimenten met LLM-training op .tmu-data en een verschuiving in de tool-ecosystemen weg van batch-gebaseerde compilatie naar gestructureerde, real-time editors.

Samenvattend biedt dit paper een krachtig technisch argument voor de vervanging van de verouderde TEX-architectuur door moderne, boomgestructureerde editors, met name in het licht van de opkomst van generatieve AI.