Texo: Formula Recognition within 20M Parameters

Ce papier présente Texo, un modèle minimaliste de reconnaissance de formules mathématiques ne comptant que 20 millions de paramètres, qui atteint des performances comparables aux modèles de l'état de l'art tout en étant suffisamment léger pour une inférence en temps réel sur du matériel grand public et un déploiement dans le navigateur.

L'essentiel

🧠 Texo : Le "Super-Héros" des Formules Mathématiques (qui tient dans la poche)

Imaginez que vous essayez de lire une page de manuel de physique remplie de formules compliquées. Pour un ordinateur, c'est comme essayer de comprendre un livre écrit dans une langue étrangère avec des dessins bizarres. C'est ce qu'on appelle la reconnaissance de formules mathématiques.

Jusqu'à présent, pour faire ce travail, il fallait des ordinateurs énormes, des "cerveaux" numériques (modèles d'IA) pesant des centaines de millions de pièces (paramètres). C'était comme utiliser un camion de pompiers pour éteindre une bougie : ça marche, mais c'est lourd, cher et ça consomme beaucoup d'énergie.

Texo, c'est la nouvelle solution. C'est un modèle d'intelligence artificielle qui fait le même travail, mais qui est 80 % plus petit que les meilleurs modèles actuels. Il est si léger qu'il peut tourner directement dans votre navigateur web, sur votre ordinateur de bureau, sans avoir besoin de super-ordinateurs.

Voici comment ils ont fait, expliqué avec des analogies :

1. Le Problème : Le "Dictionnaire" trop gros 📚

Les modèles d'IA actuels sont comme des étudiants qui ont mémorisé tout le dictionnaire d'une langue (le français ou l'anglais), avec des mots comme "pomme", "manger", "triste", etc.
Mais quand on veut lire des formules mathématiques, on n'a pas besoin de savoir ce qu'est un "pomme". On a besoin de comprendre des symboles comme $\sum$, $\int$, ou $\alpha$.

• L'erreur des autres modèles : Ils utilisent un dictionnaire de 50 000 mots pour lire des maths. C'est comme si un chef cuisinier devait apprendre à réparer des voitures juste pour faire une salade. C'est du gaspillage d'espace et de temps.
• La solution de Texo : Les auteurs ont créé un dictionnaire sur mesure. Ils ont pris un dictionnaire de 50 000 mots et l'ont réduit à 687 mots strictement nécessaires pour les maths. C'est comme passer d'une bibliothèque entière à une petite boîte à outils parfaitement organisée.

2. La Technique : Le "Transfert de Connaissance" 🎓

Comment on peut réduire un modèle sans le rendre stupide ?
Imaginez que vous avez un élève brillant (le modèle PPFormulaNet-S) qui a déjà appris à faire des maths. Au lieu de créer un nouvel élève de zéro, vous lui donnez un nouveau manuel (le nouveau dictionnaire réduit).

• L'astuce : Au lieu de lui faire réapprendre tout depuis le début, on lui "transfère" ce qu'il sait déjà, mais en l'adaptant à son nouveau dictionnaire plus petit. C'est comme si on prenait les connaissances d'un expert et qu'on les condensait dans un format plus compact, sans rien perdre de l'essentiel.
• Résultat : Le modèle garde son intelligence, mais il devient beaucoup plus rapide et léger.

3. Le Résultat : La Formule Magique 🪄

Grâce à ces astuces, Texo est un véritable miracle d'efficacité :

• Taille : Il ne pèse que 20 millions de paramètres (contre 107 ou 58 millions pour les concurrents). C'est comme passer d'un camion de 20 tonnes à une petite voiture de ville.
• Vitesse : Il est 7 fois plus rapide que le modèle précédent le plus performant (UniMERNet-T).
• Qualité : Malgré sa petite taille, il fait aussi bien, voire mieux, que les géants pour reconnaître les formules, même celles qui sont manuscrites ou prises en photo avec un téléphone.

4. L'Application : "La Magie dans votre Navigateur" 🌐

Le plus cool, c'est que les auteurs ne l'ont pas gardé pour eux. Ils ont créé un site web où vous pouvez télécharger une photo de formule et obtenir le code informatique correspondant (LaTeX) instantanément.

• Pas de serveur : Tout se passe sur votre propre ordinateur. Vos données ne quittent jamais votre machine (c'est privé et sécurisé).
• Gratuit et Rapide : Pas besoin d'installer de logiciels compliqués. C'est comme utiliser un filtre photo, mais pour les maths.

En résumé 🎯

Texo, c'est comme avoir un génie des mathématiques qui tient dans une boîte à chaussures.
Au lieu d'utiliser un super-ordinateur coûteux pour lire une équation, Texo utilise un "dictionnaire intelligent" et des techniques de compression pour faire le travail en une fraction de seconde, directement sur votre ordinateur personnel.

C'est la preuve qu'on n'a pas besoin de construire des modèles géants et coûteux pour faire du travail de qualité. Parfois, il suffit juste d'être plus malin et plus économe !

Résumé technique

1. Problématique

La reconnaissance d'expressions mathématiques (MER) est une tâche cruciale pour l'analyse de documents et le prétraitement des données destinées aux grands modèles de langage (LLM). Bien que des modèles de pointe (SOTA) comme UniMERNet et PPFormulaNet offrent d'excellentes performances, ils souffrent d'un problème majeur : leur lourdeur paramétrique.

• Les modèles actuels varient de 58 Mo à 325 Mo (voire 560 Mo pour GOT-OCR-2.0).
• Cette taille excessive empêche leur déploiement sur du matériel grand public (PC personnels, appareils mobiles) ou dans des navigateurs web sans dépendre d'API cloud coûteuses et potentiellement non privées.
• L'objectif est donc de créer un modèle minimaliste et efficace capable de rivaliser avec les SOTA tout en réduisant drastiquement la taille du modèle pour permettre une inférence en temps réel sur du matériel grand public.

2. Méthodologie

Les auteurs proposent Texo, un modèle de reconnaissance de formules conçu pour ne contenir que 20 millions de paramètres. L'approche repose sur trois piliers techniques :

A. Architecture du Modèle

Texo hérite de l'architecture de PPFormulaNet-S mais avec des optimisations ciblées :

• Encodeur d'images : Utilisation de HGNetV2-B4, un CNN moderne et léger (utilisé comme backbone pour RT-DETR), qui offre des performances comparables aux Vision Transformers (ViT) mais avec moins de paramètres.
• Décodeur de texte : Un décodeur Transformer MBart à 2 couches, avec une dimension cachée de 384 et une longueur de contexte de 1024.

B. Distillation et Transfert de Vocabulaire (Innovation Clé)

L'analyse des modèles existants révèle que la majorité des paramètres provient des couches d'embedding d'entrée et de sortie du décodeur, proportionnelles à la taille du vocabulaire.

• Problème : Les vocabulaires standards (hérités de tâches de langage naturel) sont trop vastes (ex: 50k tokens) et utilisent des tokeniseurs heuristiques (BPE) qui peuvent fragmenter des symboles LaTeX sémantiquement complets (ex: \leftarrow divisé en \left et arrow).
• Solution :
  1. Distillation du vocabulaire : Les auteurs construisent un vocabulaire spécifique au domaine LaTeX en s'appuyant sur KaTeX (un parseur LaTeX open-source). Cela réduit le vocabulaire de 50 000 à seulement 687 tokens.
  2. Transfert de connaissances : Une heuristique de transfert de vocabulaire est appliquée pour mapper les anciens embeddings vers le nouveau vocabulaire réduit, en moyennant les embeddings des sous-mots correspondants.
  3. Résultat : La taille des paramètres d'embedding chute de 38 Mo à moins de 1 Mo. Le modèle total passe de 58 Mo (PPFormulaNet-S) à 20 Mo.

C. Déploiement dans le Navigateur

Pour démontrer l'efficacité, le modèle est déployé entièrement côté client (front-end) :

• Conversion du checkpoint en format ONNX.
• Utilisation de Transformers.js pour l'inférence dans le navigateur.
• Interface utilisateur construite avec Vue/Nuxt, utilisant des Web Workers pour isoler l'inférence du rendu UI, garantissant une expérience fluide et privée (aucune donnée n'est envoyée à un serveur).

3. Résultats Expérimentaux

Les évaluations ont été menées sur le jeu de données UniMER-Test (23 000 paires image-LaTeX), comparant Texo à UniMERNet-T, PPFormulaNet-S et au modèle commercial Mathpix. La métrique principale est le CDM (Character Detection Matching).

• Performance :

  • Texo (20M paramètres) atteint des scores CDM comparables, voire supérieurs dans certains cas, à PPFormulaNet-S (58M) et UniMERNet-T (107M).
  • Il surpasse systématiquement son modèle de base (PPFormulaNet-S), notamment grâce à la réduction du bruit de classification permise par le vocabulaire distillé.
  • Sur les expressions complexes (CPE) et manuscrites (HWE), Texo obtient respectivement 0.825 et 0.902, dépassant PPFormulaNet-S (0.678 et 0.818).

• Efficacité et Vitesse :

  • Taille : Réduction de 80 % par rapport à UniMERNet-T et 65 % par rapport à PPFormulaNet-S.
  • Vitesse d'inférence : Texo est 7 fois plus rapide que UniMERNet-T. Bien qu'il soit légèrement plus lent que PPFormulaNet-S (qui utilise une prédiction parallèle multi-tokens), il offre un meilleur compromis précision/vitesse sans sacrifier la précision pour la vitesse.
  • Longueur des tokens : La tokenisation optimisée réduit la longueur des séquences de sortie de près de 50 %, accélérant la convergence de la prédiction.

4. Contributions Clés

1. Modèle Texo : Un modèle de reconnaissance de formules ultra-léger (20M paramètres) qui défie les modèles beaucoup plus lourds sur des tâches spécifiques.
2. Technique de Distillation de Vocabulaire : Une méthode efficace pour réduire drastiquement la taille des modèles de décodeur en adaptant le vocabulaire aux spécificités syntaxiques du LaTeX, éliminant le gaspillage de paramètres des embeddings.
3. Démonstration de Déploiement : Une application web fonctionnelle, gratuite et privée, prouvant qu'un modèle SOTA peut tourner localement dans un navigateur sans API backend.
4. Open Source : Le modèle, les poids et le pipeline d'entraînement sont rendus publics pour des fins pédagogiques.

5. Signification et Impact

Ce travail démontre que pour des tâches spécialisées comme la reconnaissance de formules mathématiques, il n'est pas nécessaire d'utiliser des modèles de vision-langage (VLM) massifs et génériques.

• Accessibilité : Il rend la technologie de pointe accessible aux utilisateurs disposant de matériel limité (PC grand public, GPU grand public comme la RTX 3090).
• Confidentialité : Le déploiement côté client élimine les risques de fuite de données liés aux API cloud, un point crucial pour les documents académiques ou sensibles.
• Efficacité des Ressources : Il prouve qu'une conception attentive (vocabulaire, architecture) et des techniques de transfert de connaissances peuvent surpasser l'approche "brute force" basée uniquement sur l'augmentation de la taille des modèles.

En conclusion, Texo établit un nouvel état de l'art pour l'efficacité paramétrique dans la reconnaissance d'expressions mathématiques, ouvrant la voie à des solutions OCR légères et décentralisées.