Technische Samenvatting: FMBench: Adaptieve Outputformattering voor Large Language Models

Probleemstelling

Hoewel Large Language Models (LLM's) sterke capaciteiten hebben getoond in het opvolgen van instructies in natuurlijke taal en het genereren van semantisch coherente reacties, falen ze frequent in het naleven van strikte outputformatteringsbeperkingen die vereist zijn in productieomgevingen. Specifiek is Markdown—een de facto standaard voor chatassistenten, documentatie en tool-augmented pipelines—gevoelig voor subtiele maar kritieke structurele fouten. Dit omvat onder meer defecte geneste lijsten, slecht gevormde tabellen, inconsistente hiërarchieën in koppen en ongebalanceerde codeblokken. Dergelijke fouten, hoewel vaak minimaal op tokenniveau, verslechteren disproportioneel de downstream bruikbaarheid, de betrouwbaarheid van parsing en de menselijke leesbaarheid.

Bestaande benaderingen kampen met significante beperkingen:

• Prompt Engineering: Zeer gevoelig voor formulering en context, en mist vaak robuustheid.
• Constrained Decoding: Garandeert syntactische geldigheid, maar introduceert overhead tijdens inferentie en kan conflicteren met de tokenisatie of semantische vloeiendheid van het model, met name bij hybride outputs.
• Supervised Fine-Tuning (SFT): Overfit vaak op oppervlakkige regelmatigheden in trainingsdata in plaats van het leren van robuuste, contextbewuste formatteringsprincipes.
• Reinforcement Learning (RL): Hoewel veelbelovend, vertrouwen bestaande methoden vaak op taakspecifieke reward-engineering of rigide regeldefinities die een gebrek aan flexibiliteit vertonen over diverse formatteringsschema's heen.

Bovendien isoleren huidige benchmarks de Markdown-setting zelden, wat het moeilijk maakt om formatteringsfouten onder realistische instructievolgende scenario's te diagnosticeren. Er is een gebrek aan een gefocust evaluatiekader dat semantische correctheid balanceert met structurele compliantie.

Methodologie

1. FMBench: Een Benchmark voor Markdown-formattering

De auteurs introduceren FMBench, een benchmark die is ontworpen om adaptieve Markdown-outputformattering te evalueren onder realistische instructievolgende instellingen.

• Data Constructie Pipeline: Een semi-geautomatiseerde, vierfasen pipeline genereert hoogwaardige, strikt geformatteerde data:
  1. Document Crawling: Het verzamelen van ruwe documenten uit acht domeinen (academisch, juridisch, technisch, etc.).
  2. Document Cleaning: Standaardiseren en het verwijderen van ruis.
  3. LLM Formatting: Het toepassen van drie formatteringsregels om gestructureerde data te genereren op variërende moeilijkheidsgraden.
  4. Human Refining: Expert-review om grammatica te corrigeren, stijl te polijsten en structurele compliantie te waarborgen.
• Dataset Samenstelling: De dataset bevat 1.100 hoogwaardige Markdown-documenten (800 training, 300 test). Het heeft een gebalanceerd structureel ontwerp waarbij complexiteit wordt gedreven door de diepte van geneste lijsten en het aantal items, in plaats van extreme sectie-aantallen.
• Evaluatiemetrieken:
  • Semantische Score: Gemeten via BERTScore-F1 tussen de gegenereerde output en de referentietekst om de inhoudelijke bewaring te beoordelen.
  • Structurele Score: Een structurele reward die de compliantie met de doelformattering en documentorganisatie meet (bijv. hiërarchie, bloktypen).

2. Trainingspipeline: SFT + Reinforcement Learning

Het paper stelt een lichtgewicht post-training pipeline voor om de Markdown-compliantie te verbeteren zonder te vertrou afhankelijk te zijn van harde decoding-constraints tijdens inferentie.

• Fase 1: Supervised Fine-Tuning (SFT):
  • Base modellen (OpenPangu en Qwen) worden gefinetuned op instructie-respons paren met behulp van Low-Rank Adaptation (LoRA).
  • Deze fase richt zich op het aanpassen van het model aan de geformatteerde tekstgeneratietaak en het verbeteren van de semantische alignment.
• Fase 2: Reinforcement Learning Fine-Tuning (RLFT):
  • Na SFT ondergaat het model RL fine-tuning met behulp van GRPO (Group Relative Policy Optimization).
  • Reward Design: Een samengestelde objective balanceert semantische getrouwheid en structurele correctheid:
    $$r = \lambda_1 r_{sem} + \lambda_2 r_{struct}$$
    • $r_{sem}$: Berekend via BERTScore-F1 tussen de output en de referentie (met gebruik van een Longformer encoder voor lange documenten).
    • $r_{struct}$: Richt zich op hoogwaardige organisatorische gelijkenis door abstractieve samenvattingen van de gegenereerde output en de referentie te vergelijken.
  • De policy wordt geoptimaliseerd via groepsgewijze relatieve reward-vergelijkingen, waarbij vier parallelle kandidaat-generaties per prompt worden gesampled.

Belangrijkste Bijdragen

1. Benchmark (FMBench): De eerste benchmark die exclusief gericht is op Markdown-outputformattering, reikend over diverse structurele vereisten (hiërarchische secties, gemengde proza-lijst-tabel compositie, codeblokken) en het evalueren van zowel semantische als structurele assen.
2. Methode: Een praktische post-training recept die SFT en RL (specifiek GRPO) combineert om de Markdown-compliantie te verbeteren terwijl de semantische getrouwheid behouden blijft, waardoor de noodzaak voor harde constraints tijdens inferentie wordt geëlimineerd.
3. Analyse: Empirische resultaten over twee modelfamilies (OpenPangu en Qwen) die de inherente trade-off tussen semantische en structurele objectives onthullen en de noodzaak demonstreren van zorgvuldig ontworpen rewards.

Experimentele Resultaten

Experimenten werden uitgevoerd op OpenPangu (1B, 7B) en Qwen3 (1.7B, 8B) modellen.

• Algemene Prestaties: De volledige pipeline (SFT + GRPO) presteerde consistent beter dan de pretrained baselines in zowel semantische getrouwheid als structurele compliantie.
• Effecten van Model Schaal:
  • SFT Impact: SFT dreef consistent verbeteringen in semantische alignment aan over alle modelgroottes. Structurele prestaties bleven grotendeels onveranderd of verbeterden licht na enkel SFT.
  • GRPO Impact: Het toevoegen van GRPO bovenop SFT verbeterde of behield de structurele scores verder. Voor kleinere modellen trade-off GRPO soms een klein beetje semantische accuratesse in voor sterkere structurele consistentie. Echter, voor grotere modellen (bijv. Qwen3-8B), bereikte de combinatie de beste algehele prestaties in beide metrieken, wat suggereert dat een hogere modelcapaciteit cruciaal is voor het gezamenlijk optimaliseren van deze concurrerende objectives.
• Belangrijkste Bevinding: SFT is de dominante factor voor semantische verbetering, terwijl GRPO dient als een complementair mechanisme om structurele robuustheid te versterken, met name wanneer het is geïnitialiseerd vanuit een sterke SFT-policy.

Betekenis en Claims

Het paper stelt dat betrouwbare LLM-implementatie in gebruikersgerichte en systeemgeïntegreerde workflows niet alleen afhangt van semantische correctheid, maar ook van stabiele, menselijk bruikbare formattering.

• Formattering als een Alignment Objective: De auteurs beargumenteren dat formatteringsgedrag moet worden behandeld als een expliciete alignment objective in plaats van een bijproduct van instructievolging.
• Bewustzijn van Trade-offs: De resultaten benadrukken een inherente spanning tussen semantische en structurele doelen. Het naïef verhogen van de gewichten van de structurele reward kan leiden tot over-geregulariseerde, template-achtige outputs die de inhoud vervormen. Daarom moeten reward-designs zowel validator-gegrond als instructie-geconditioneerd zijn.
• Praktisch Nut: FMBench wordt gepresenteerd als een diagnostisch instrument om verder onderzoek te stimuleren naar alignment-methoden die formattering behandelen als een eersteklas betrouwbaarheidseis voor betrouwbare gestructureerde generatie.

De auteurs erkennen beperkingen, waaronder het onvermogen om de volledige 'long tail' van real-world auteurstijlen te dekken, de subjectiviteit van bepaalde structurele keuzes, en de afhankelijkheid van referentie-gebaseerde evaluatie die meerdere geldige realisaties van dezelfde intentie kan missen. Zij suggereren dat toekomstig werk hybride constraint-learning benaderingen, uitbreiding naar andere gestructureerde formaten (JSON/YAML) en mensgerichte evaluatie zou moeten verkennen.