Résumé Technique : FMBench : Formatage Adaptatif de la Sortie des Grands Modèles de Langage

Énoncé du Problème

Bien que les grands modèles de langage (LLM) aient démontré de fortes capacités à suivre des instructions en langage naturel et à générer des réponses sémantiquement cohérentes, ils échouent fréquemment à respecter les contraintes strictes de formatage de sortie requises dans les environnements de production. Plus précisément, le Markdown — un standard de facto pour les assistants de chat, la documentation et les pipelines augmentés par des outils — est sujet à des erreurs structurelles subtiles mais critiques. Celles-ci incluent des listes imbriquées brisées, des tableaux malformés, des hiérarchies de titres incohérentes et des blocs de code non équilibrés. De telles erreurs, bien que souvent mineures au niveau du jeton (token), dégradent de manière disproportionnée l'utilisabilité en aval, la fiabilité du parsing et la lisibilité humaine.

Les approches existantes font face à des limitations significatives :

• Ingénierie de Prompt (Prompt Engineering) : Très sensible à la formulation et au contexte, manquant souvent de robustesse.
• Décodage Contraint (Constrained Decoding) : Garantit la validité syntaxique mais introduit une surcharge d'inférence et peut entrer en conflit avec la tokenisation ou la fluidité sémantique du modèle, particulièrement dans les sorties hybrides.
• Apprentissage Supervisé (SFT) : Souvent sur-apprend des régularités superficielles dans les données d'entraînement plutôt que d'apprendre des principes de formatage robustes et conscients du contexte.
• Apprentissage par Renforcement (RL) : Bien que prometteur, les méthodes existantes reposent souvent sur une ingénierie de récompense spécifique à la tâche ou sur des définitions de règles rigides qui manquent de flexibilité à travers divers schémas de formatage.

De plus, les benchmarks actuels ne parviennent que rarement à isoler le cadre Markdown, ce qui rend difficile le diagnostic des échecs de formatage dans des scénarios réalistes de suivi d'instructions. Il existe un manque de cadre d'évaluation focalisé qui équilibre la correction sémantique et la conformité structurelle.

Méthodologie

1. FMBench : Un Benchmark pour le Formatage Markdown

Les auteurs introduisent FMBench, un benchmark conçu pour évaluer le formatage de sortie Markdown adaptatif sous des paramètres réalistes de suivi d'instructions.

• Pipeline de Construction des Données : Un pipeline semi-automatisé en quatre étapes génère des données de haute qualité et strictement formatées :
  1. Crawling de Documents : Collecte de documents bruts provenant de huit domaines (académique, juridique, technique, etc.).
  2. Nettoyage de Documents : Standardisation et suppression du bruit.
  3. Formatage par LLM : Application de trois règles de formatage pour générer des données structurées à différents niveaux de difficulté.
  4. Raffinement Humain : Révision par des experts pour corriger la grammaire, polir le style et assurer la conformité structurelle.
• Composition du Jeu de Données : Le jeu de données contient 1 100 documents Markdown de haute qualité (800 pour l'entraînement, 300 pour le test). Il présente une conception structurelle équilibrée où la complexité est dictée par la profondeur des listes imbriquées et le nombre d'éléments plutôt que par des nombres extrêmes de sections.
• Métriques d'Évaluation :
  • Score Sémantique : Mesuré via BERTScore-F1 entre la sortie générée et le texte de référence pour évaluer la préservation du contenu.
  • Score Structurel : Une récompense structurelle mesurant la conformité avec le formatage cible et l'organisation du document (ex: hiérarchie, types de blocs).

2. Pipeline d'Entraînement : SFT + Apprentissage par Renforcement

Le papier propose un pipeline de post-entraînement léger pour améliorer la conformité Markdown sans dépendre de contraintes de décodage strictes lors de l'inférence.

• Étape 1 : Fine-Tuning Supervisé (SFT) :
  • Les modèles de base (OpenPangu et Qwen) sont affinés sur des paires instruction-réponse en utilisant l'adaptation de bas rang (LoRA).
  • Cette étape se concentre sur l'adaptation du modèle à la tâche de génération de texte formaté et sur l'amélioration de l'alignement sémantique.
• Étape 2 : Fine-Tuning par Apprentissage par Renforcement (RLFT) :
  • Après le SFT, le modèle subit un affinement par RL en utilisant GRPO (Group Relative Policy Optimization).
  • Conception de la Récompense : Un objectif composite équilibre la fidélité sémantique et la correction structurelle :
    $$r = \lambda_1 r_{sem} + \lambda_2 r_{struct}$$
    • $r_{sem}$ : Calculé via BERTScore-F1 entre la sortie et la référence (en utilisant un encodeur Longformer pour les documents longs).
    • $r_{struct}$ : Cible la similitude organisationnelle de haut niveau en comparant les résumés abstraitifs de la sortie générée et de la référence.
  • La politique est optimisée via des comparaisons de récompenses relatives par groupe, échantillonnant quatre générations candidates parallèles par prompt.

Contributions Clés

1. Benchmark (FMBench) : Le premier benchmark exclusivement focalisé sur le formatage de sortie Markdown, couvrant diverses exigences structurelles (sections hiérarchiques, composition mixte prose-liste-tableau, blocs de code) et évaluant à la fois les axes sémantique et structurel.
2. Méthode : Une recette pratique de post-entraînement combinant le SFT et le RL (spécifiquement GRPO) qui améliore la conformité Markdown tout en maintenant la fidélité sémantique, éliminant ainsi le besoin de contraintes strictes lors de l'inférence.
3. Analyse : Résultats empiriques sur deux familles de modèles (OpenPangu et Qwen) révélant le compromis inhérent entre les objectifs sémantiques et structurels et démontrant la nécessité de récompenses soigneusement conçues.

Résultats Expérimentaux

Les expériences ont été menées sur les modèles OpenPangu (1B, 7B) et Qwen3 (1.7B, 8B).

• Performance Globale : Le pipeline complet (SFT + GRPO) surpasse systématiquement les modèles pré-entraînés de base tant en fidélité sémantique qu'en conformité structurelle.
• Effets de l'Échelle du Modèle :
  • Impact du SFT : Le SFT entraîne systématiquement des améliorations de l'alignement sémantique pour toutes les tailles de modèles. La performance structurelle reste largement inchangée ou s'améliore légèrement après le seul SFT.
  • Impact du GRPO : L'ajout de GRPO sur le SFT améliore davantage ou préserve mieux les scores structurels. Pour les petits modèles, le GRPO peut parfois sacrifier légèrement la précision sémantique au profit d'une plus forte cohérence structurelle. Cependant, pour les modèles plus larges (ex: Qwen3-8B), la combinaison atteint la meilleure performance globale dans les deux métriques, suggant qu'une capacité de modèle plus élevée est cruciale pour optimiser conjointement ces objectifs concurrents.
• Constat Clé : Le SFT est le facteur dominant pour l'amélioration sémantique, tandis que le GRPO sert de mécanisme complémentaire pour renforcer la robustesse structurelle, particulièrement lorsqu'il est initialisé à partir d'une politique SFT forte.

Signification et Revendications

Le papier soutient que le déploiement fiable des LLM dans des flux de travail orientés utilisateur et intégrés aux systèmes dépend non seulement de la correction sémantique, mais aussi d'un formatage stable et utilisable par l'humain.

• Le Formatage comme Objectif d'Alignement : Les auteurs soutiennent que le comportement de formatage doit être traité comme un objectif d'alignement explicite plutôt que comme un sous-produit du suivi d'instructions.
• Conscience du Compromis : Les résultats soulignent une tension inhérente entre les objectifs sémantiques et structurels. Augmenter naïvement les poids de récompense structurelle peut mener à des sorties trop régularisées, de type "template", qui déforment le contenu. Par conséquent, les conceptions de récompenses doivent être à la fois fondées sur la validation et conditionnées par l'instruction.
• Utilité Pratique : FMBench est présenté comme un outil de diagnostic pour motiver la recherche supplémentaire sur les méthodes d'alignement qui traitent le formatage comme une exigence de fiabilité de premier ordre pour la génération structurée fiable.

Les auteurs reconnaissent des limites, notamment l'incapacité à couvrir toute la longue traîne des styles d'écriture du monde réel, la subjectivité de certains choix structurels, et la dépendance à une évaluation basée sur des références qui peut manquer de multiples réalisations valides d'une même intention. Ils suggèrent que les travaux futurs devraient explorer des approches hybrides de contrainte-apprentissage, l'extension à d'autres formats structurés (JSON/YAML), et l'évaluation centrée sur l'humain.