LaTeX Compilation: Challenges in the Era of LLMs

Cet article critique les limitations de TeX à l'ère des modèles de langage et propose Mogan STEM, un éditeur structuré WYSIWYG qui surpasse TeX en efficacité, en localisation des erreurs et en optimisation pour l'entraînement de LLMs grâce à son format .tmu à faible entropie.

L'essentiel

📜 Le Dilemme : Le Vieux Moteur vs. Le Nouveau Véhicule

Imaginez que LaTeX (le système utilisé par les scientifiques pour écrire leurs articles) est comme une vieille voiture des années 70.

• C'est robuste : Elle a permis d'écrire des millions de livres et de thèses.
• Mais elle est lente : Pour démarrer, il faut tourner la clé, attendre que le moteur chauffe, et si vous changez un seul pneu, vous devez redémarrer toute la voiture pour vérifier si ça roule bien.
• Le problème : Aujourd'hui, avec l'arrivée des Intelligences Artificielles (IA), cette vieille voiture est trop lente et trop compliquée. Les IA ont besoin de données claires et rapides, or LaTeX est un peu "brouillon" pour elles.

Les auteurs de ce papier (Tianyou Liu et son équipe) disent : "Il est temps de changer de voiture." Ils proposent un nouveau modèle appelé Mogan STEM.

---

🚧 Pourquoi LaTeX est-il devenu un cauchemar ?

Le papier explique trois gros problèmes de LaTeX, que l'on peut comparer à des défauts de conception :

1. Le problème du "Tout ou Rien" (Le modèle par lots)

• L'analogie : Imaginez que vous écrivez un roman. Dans LaTeX, si vous changez un mot au début du chapitre 1, vous ne pouvez pas voir le résultat tout de suite. Vous devez arrêter l'écriture, envoyer le manuscrit à l'imprimeur, attendre qu'il imprime tout le livre, puis revenir pour voir si le chapitre 2 est toujours à la bonne page.
• La réalité : LaTeX ne comprend pas ce que vous écrivez "en direct". Il doit tout relire du début à la fin à chaque fois que vous modifiez une virgule. C'est lent et frustrant.

2. Le problème du "Brouillard" (Les erreurs)

• L'analogie : Vous allumez une lampe dans une pièce sombre, mais la lampe clignote et s'éteint. Quand elle s'éteint, elle vous dit : "Erreur !" mais elle ne vous dit pas où est le problème. Est-ce que c'est le fil électrique ? La prise ? La lampe elle-même ?
• La réalité : Si vous faites une petite erreur de syntaxe dans LaTeX, le système plante souvent loin de l'endroit où l'erreur se trouve. Les messages d'erreur sont obscurs et obligent les chercheurs à faire des heures de détective pour trouver le bug.

3. Le problème du "Labyrinthe" (La complexité)

• L'analogie : Pour utiliser LaTeX, vous devez emporter un sac à dos rempli de 6 000 outils (des packages, des polices, des extensions). Même si vous n'en avez besoin que de trois, vous devez tous les installer. C'est lourd et encombrant.
• La réalité : L'installation de LaTeX est énorme (plus de 5 Go !). De plus, il existe plusieurs versions qui ne se parlent pas toujours bien, ce qui crée une confusion totale.

---

🚀 La Solution : Mogan STEM (Le Véhicule Moderne)

Les auteurs proposent Mogan STEM, un éditeur qui fonctionne comme un tableau blanc intelligent ou un Lego numérique.

1. Le "WYSIWYG" (Ce que vous voyez est ce que vous obtenez)

• L'analogie : Avec LaTeX, c'est comme écrire du code informatique pour dire "Mettez ce mot en gras". Avec Mogan, c'est comme dans Word : vous cliquez sur "Gras", et le mot devient gras instantanément.
• La différence : Mogan ne voit pas du texte, il voit une structure d'arbre (comme un organigramme). Si vous changez une image, seule cette image se met à jour, pas tout le document. C'est comme changer une pièce de Lego sans devoir reconstruire tout le château.

2. La vitesse fulgurante

• L'analogie : Si LaTeX est un train qui doit s'arrêter à chaque gare pour vérifier les passagers, Mogan est un TGV qui ajuste sa vitesse en temps réel.
• Le résultat : Les tests montrent que Mogan est beaucoup plus rapide pour afficher les documents, même complexes avec des formules mathématiques.

3. Le secret pour les IA (Le format .tmu)

C'est le point le plus important pour l'avenir des IA :

• L'analogie : Imaginez que vous voulez apprendre à un robot à cuisiner.
  • Avec LaTeX, vous lui donnez une recette écrite en code secret : "Prenez le bol A, ajoutez 2 cuillères de l'ingrédient B défini dans le fichier C...". Le robot perd du temps à décoder.
  • Avec Mogan, vous lui donnez une recette structurée et claire : "Voici le bol, voici l'ingrédient, voici l'action".
• Le résultat : Les IA comprennent beaucoup mieux le format de Mogan. Elles font moins d'erreurs, apprennent plus vite et peuvent même "réparer" des documents cassés beaucoup plus facilement.

---

📊 Ce que disent les expériences

Les auteurs ont fait des tests pour prouver leur théorie :

1. Vitesse : Mogan est plus rapide pour compiler (générer le PDF) et pour mettre à jour les documents.
2. Intelligence Artificielle : Quand on demande à une IA de trouver une information dans un document, elle y arrive beaucoup plus vite avec Mogan.
3. Apprentissage : Quand on entraîne une IA (fine-tuning) avec des documents Mogan, elle apprend plus efficacement car le langage est plus logique et moins "bruité" que celui de LaTeX.

🏁 Conclusion : Pourquoi cela nous concerne ?

Ce papier est un appel à l'action. Il dit que LaTeX a fait son temps. Il a été génial pour l'ère du papier et des ordinateurs lents, mais il est trop lourd pour l'ère de l'IA.

Mogan STEM n'est pas juste un nouvel éditeur, c'est une nouvelle façon de penser les documents scientifiques :

• Plus rapide.
• Plus facile à utiliser.
• Parfaitement adapté pour travailler avec les intelligences artificielles de demain.

En résumé : Passer de LaTeX à Mogan, c'est passer d'une machine à écrire mécanique à un smartphone connecté. C'est plus fluide, plus intelligent, et surtout, ça permet aux scientifiques de se concentrer sur leurs idées plutôt que sur la technique.

Résumé technique

Résumé Technique : Défis de la Compilation LATEX à l'Ère des LLM et Présentation de Mogan STEM

1. Problématique

Bien que LATEX soit la norme de facto pour la rédaction scientifique grâce à ses capacités de composition mathématique, son architecture fondamentale, conçue dans les années 1970-80, présente des limitations critiques à l'ère des Modèles de Langage (LLM) et des workflows modernes :

• Modèle de compilation par lots (Batch) : LATEX fonctionne de manière séquentielle et unidirectionnelle. Il ne maintient pas de représentation intermédiaire de l'état du document. Toute modification locale (même minime) nécessite une recompilation complète du flux d'instructions, empêchant les mises à jour incrémentielles efficaces.
• Couplage fort Syntaxe/Sémantique : La distinction entre la structure logique (sémantique) et le rendu visuel (mise en page) est floue. Les macros LATEX mélangent définitions structurelles et commandes de mise en forme, rendant l'analyse statique et la compréhension par les LLM difficile.
• Gestion des erreurs déficiente : Les erreurs sont détectées de manière réactive (« post hoc ») lors de l'exécution. Les messages d'erreur sont souvent déconnectés de la cause racine (ex: une erreur de parenthèse fermante signalée à la fin du document), et la compilation échoue totalement, empêchant la prévisualisation partielle.
• Fragmentation de l'écosystème : La nécessité de plusieurs passes de compilation (pour les références croisées, la bibliographie, etc.) et la compatibilité variable entre moteurs (pdfLaTeX, XeLaTeX, LuaLaTeX) créent une complexité cognitive élevée et des goulots d'étranglement de performance.
• Coût pour les LLM : La structure linéaire et le bruit syntaxique de LATEX augmentent l'entropie de l'information, rendant le fine-tuning et la compréhension par les LLM moins efficaces et plus coûteux en tokens.

2. Méthodologie

Les auteurs proposent une analyse comparative approfondie entre l'architecture de LATEX et celle de Mogan STEM, un éditeur structuré WYSIWYG (« What You See Is What You Get ») basé sur GNU TeXmacs.

• Analyse Architecturale :
  • LATEX : Traitement de flux linéaire, expansion de macros, génération de fichiers auxiliaires (.aux, .toc, .bbl) et itérations multiples.
  • Mogan STEM : Représentation arborescente (Tree-based) du document en mémoire. Les formules et la structure sont des nœuds fonctionnels (représentés en Scheme/S-expressions) plutôt que des chaînes de caractères textuelles.
• Expérimentations Numériques :
  • Benchmarks de performance : Comparaison des temps de compilation et de rendu sur 6 documents scientifiques d'arXiv (riches en références et tableaux) entre LATEX et Mogan STEM (sur Windows et Linux).
  • Tests de tâches LLM : Évaluation de quatre modèles (Deepseek, Claude, Gemini, ChatGPT) sur trois dimensions :
    1. Localisation de la structure du document.
    2. Fusion de fichiers avec des styles de document (doc-style) différents.
    3. Débogage de documents mal formés à partir de messages d'erreur.
  • Fine-tuning (SFT) : Entraînement parallèle d'un modèle (Qwen2.5-7B) sur 1000 formules mathématiques converties en LATEX et en format natif Mogan (.tmu) pour mesurer la convergence de la perte (Loss).

3. Contributions Clés

• Identification des défauts fondamentaux : L'article démontre que les limitations de LATEX ne sont pas des bugs d'implémentation, mais des conséquences inhérentes à son modèle de conception (couplage syntaxe/représentation, absence d'état intermédiaire).
• Introduction de Mogan STEM : Présentation d'un éditeur qui utilise une structure de données arborescente explicite.
  • Mise à jour incrémentielle : Seuls les nœuds affectés sont recalculés et rendus.
  • Gestion des erreurs locale : Une erreur dans un nœud n'empêche pas le rendu du reste du document.
  • Format .tmu : Un format de document structuré à faible entropie, idéal pour l'entraînement des LLM.
• Preuve de supériorité pour les LLM : Démonstration que la structure arborescente et la sémantique explicite de Mogan permettent aux LLM de mieux comprendre, générer et déboguer le contenu scientifique.

4. Résultats

• Performance de Compilation/Rendu :
  • Mogan STEM surpasse LATEX sur la majorité des documents testés, même en tenant compte du surcoût I/O du mode WYSIWYG.
  • Pour les mises à jour incrémentielles, Mogan est nettement plus rapide (souvent de plusieurs ordres de grandeur) car il évite la recompilation globale.
• Performance des LLM :
  • Localisation de structure : Les LLM utilisent moins de tokens pour localiser des éléments dans les fichiers .tmu car les références sont stockées directement dans l'arbre (ex: <associate|sec:tree-struc-on-mogan|<tuple|5.1|13>>), contrairement à LATEX où le modèle doit simuler la compilation.
  • Fusion de fichiers : Mogan obtient des scores bien supérieurs lors de la fusion de documents avec des styles de macros différents, car la structure est normalisée et ne nécessite pas de résolution de conflits sémantiques complexes.
  • Débogage : Les LLM corrigent les erreurs dans les fichiers Mogan beaucoup plus rapidement et avec plus de précision, car les messages d'erreur sont localisés et le contexte n'est pas perdu.
• Efficacité du Fine-tuning :
  • Lors de l'entraînement LoRA sur Qwen2.5-7B, la perte (Loss) converge vers 0.4 pour Mogan contre 0.7 pour LATEX.
  • Cause : Le format Mogan a une entropie d'information plus faible (moins de bruit syntaxique, pas d'équivalences ambiguës comme \frac{a}{b} vs {a \over b}), facilitant la prédiction du token suivant.

5. Signification et Implications

• Pour la rédaction scientifique : Mogan STEM offre une alternative viable qui résout les problèmes d'interactivité, de stabilité et de performance de LATEX, tout en conservant la qualité de composition mathématique.
• Pour l'Intelligence Artificielle : L'article plaide pour l'adoption du format .tmu (ou des formats structurés similaires) pour l'entraînement et le fine-tuning des LLM spécialisés en sciences. La structure arborescente réduit le coût computationnel, améliore la précision des modèles et permet une intégration plus fluide entre l'écriture humaine et l'assistance par IA.
• Avenir de l'écosystème : L'auteur appelle à des expériences plus larges sur l'entraînement de LLM avec des formats structurés, suggérant que l'évolution des outils de rédaction doit suivre celle des modèles d'IA, passant d'une approche basée sur le texte brut à une approche basée sur la structure sémantique.

En conclusion, ce papier établit que l'architecture de LATEX, bien que historiquement réussie, est devenue un frein à l'efficacité dans l'ère de l'IA générative, et que des éditeurs structurés comme Mogan STEM offrent une voie d'avenir plus performante et adaptée aux besoins computationnels modernes.