💬 NLP

FMBench: Adaptive Large Language Model Output Formatting

Dieses Paper führt FMBench ein, einen Benchmark zur Evaluierung großer Sprachmodelle hinsichtlich adaptiver Markdown-Formatierung, und schlägt eine leichtgewichtige Alignment-Pipeline vor, die Supervised Fine-Tuning und Reinforcement Learning kombiniert, um die strukturelle Konformität zu verbessern und gleichzeitig die semantische Treue auszubalancieren.

Ursprüngliche Autoren: Yaoting Wang, Yun Zhou, Henghui Ding

Veröffentlicht 2026-02-09

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yaoting Wang, Yun Zhou, Henghui Ding

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen sehr intelligenten, gesprächigen Roboter-Assistenten. Wenn Sie ihm eine Frage stellen, gibt er Ihnen normalerweise eine brillante Antwort mit den richtigen Fakten. Aber manchmal ist die Art und Weise, wie er diese Fakten präsentiert, ein einziges Chaos. Er schreibt vielleicht eine Liste, die aussieht wie ein ungeordneter Haufen Ziegelsteine, erstellt eine Tabelle, bei der die Spalten nicht untereinanderstehen, oder vergisst, einen Code-Block zu schließen. Für einen Menschen sieht das etwas unordentlich aus; für ein Computerprogramm, das die Antwort später lesen soll, ist es ein absolutes Desaster.

Dieses Paper, FMBench, handelt davon, diese Roboter nicht nur klug, sondern auch ordentlich und organisiert zu machen.

Hier ist die Aufschlüsselung ihrer Arbeit, unter Verwendung einiger einfacher Analogien:

1. Das Problem: Das „unordentliche Zimmer“

Den Autoren fiel auf, dass KI-Modelle zwar großartig darin sind, zu wissen, was sie sagen sollen, aber oft daran scheitern, wie sie es in einem speziellen Format namens Markdown (der Sprache, die verwendet wird, um Text fett zu machen, Listen zu erstellen, Tabellen und Code-Blöcke zu generieren) darstellen.

Die Analogie: Stellen Sie sich einen Koch vor, der ein köstliches Essen zubereitet (der Inhalt), es aber auf einem schmutzigen Teller serviert, die Soße auf den Tisch verschüttet und vergisst, das Steak anzuschneiden (die Formatierung). Das Essen schmeckt gut, aber man kann es nicht richtig essen.
Das Problem: Diese Formatierungsfehler sind „klein“ (wie ein fehlendes Komma oder eine kaputte Liste), aber sie bringen die „Maschinen“ zum Absturz, die die Antwort später lesen müssen.

2. Die Lösung: Das „FMBench“-Fitnessstudio

Um dies zu beheben, hat das Team einen speziellen Trainingsplatz namens FMBench gebaut.

Was es ist: Betrachten Sie dies als ein Fitnessstudio, das speziell für „Organisationsfähigkeiten“ konzipiert ist. Anstatt den Roboter einfach nur eine Matheaufgabe lösen zu lassen, bitten sie ihn, die Aufgabe zu lösen, während er strengen Regeln folgt: „Stelle sicher, dass die Liste drei Elemente hat“, „Packe den Code in eine Box“ und „Verwende drei Ebenen von Überschriften“.
Die Daten: Sie haben 1.100 Übungsaufgaben erstellt. Sie haben echte Dokumente (wie akademische Arbeiten oder Geschäftsberichte) genommen, sie bereinigt und dann die KI gebeten, sie in perfekte Markdown-Strukturen umzuschreiben. Menschen haben die Arbeit dann überprüft, um sicherzustellen, dass sie tatsächlich gut war.

3. Die Trainingsmethode: „Lernen, dann Polieren“

Das Paper schlägt ein zweistufiges Trainingsrezept vor, um einen unordentlichen Roboter in einen ordentlichen zu verwandeln, ohne ihn während des eigentlichen Gesprächs mit starrer Computercode-Logik zwingen zu müssen.

Schritt 1: Supervised Fine-Tuning (SFT) – „Die Nachahmer-Phase“
- Die Analogie: Dies ist so, als würde man dem Roboter einen Stapel perfekter, ordentlich organisierter Essays zeigen und sagen: „Kopiere diesen Stil.“ Der Roboter lernt, den Stil nachzuahmen.
- Das Ergebnis: Der Roboter versteht die Bedeutung der Anweisungen viel besser und behält die Fakten korrekt bei.
Schritt 2: Reinforcement Learning (RL) – „Die Trillerpfeife des Coaches“
- Die Analogie: Jetzt, wo der Roboter schreiben kann, beobachtet ein „Coach“ (ein automatisiertes System) ihn. Wenn der Roboter eine Liste schreibt, die fehlerhaft ist, gibt der Coach ein „Daumen runter“. Wenn er eine perfekte Tabelle schreibt, gibt der Coach ein „Daumen hoch“. Der Roboter versucht es immer wieder, um das „Daumen runter“ zu vermeiden und das „Daumen hoch“ zu jagen.
- Das Ergebnis: Dieser Schritt macht den Roboter viel robuster. Er lernt, schwierige Anweisungen zu handhaben, bei denen die Formatierungsregeln schwer zu befolgen sind, um sicherzustellen, dass die endgültige Ausgabe strukturell perfekt ist.

4. Die Entdeckung: „Der Drahtseilakt“

Die Forscher fanden etwas Interessantes heraus: Klug zu sein und ordentlich zu sein, sind zwei verschiedene Fähigkeiten.

Die Analogie: Stellen Sie sich vor, Sie gehen auf einem Drahtseil. Wenn Sie sich zu sehr darauf konzentrieren, die Landschaft zu betrachten (Inhalt/Bedeutung), könnten Sie auf dem Seil stolpern (Struktur). Wenn Sie sich zu sehr auf das Seil konzentrieren, vergessen Sie vielleicht, die Landschaft zu betrachten.
Die Erkenntnis: Der „Nachahmer“-Schritt (SFT) machte den Roboter klüger in Bezug auf den Inhalt. Der „Coach“-Schritt (RL) machte ihn besser in Bezug auf die Struktur. Aber wenn man zu stark auf eine Seite drückt, kann die andere leiden. Die besten Ergebnisse ergaben sich aus einer ausgewogenen Mischung aus beiden Schritten, insbesondere bei größeren, leistungsstärkeren Robotern.

5. Das Fazit

Das Paper kommt zu dem Schluss, dass wir nicht allein darauf vertrauen können, dass die KI „klug“ ist, wenn wir sie im echten Leben wirklich nützlich machen wollen (wo Computer die Antworten lesen müssen). Wir müssen sie explizit darauf trainieren, organisiert zu sein.

Sie haben gezeigt, dass wir durch die Verwendung ihrer zweistufigen Trainingsmethode (Nachahmer + Coach) verschiedene Arten von Robotern (von klein bis groß) dazu bringen können, Antworten zu produzieren, die sowohl faktisch korrekt als auch perfekt formatiert sind – bereit, von Menschen gelesen und von Computern verarbeitet zu werden. Sie haben ihr „Fitnessstudio“ (FMBench) und ihr „Trainingshandbuch“ auch anderen zur Verfügung gestellt.

Technisches Resümee: FMBench: Adaptive Formatierung von Large Language Model Ausgaben

Problemstellung

Obwohl Large Language Models (LLMs) starke Fähigkeiten bei der Befolgung natürlicher Sprachinstruktionen und der Generierung semantisch kohärenter Antworten demonstriert haben, scheitern sie häufig an der Einhaltung strenger Ausgabeformatierungsbeschränkungen, die in Produktionsumgebungen erforderlich sind. Insbesondere Markdown – ein De-facto-Standard für Chat-Assistenten, Dokumentationen und Werkzeug-gestützte Pipelines – ist anfällig für subtile, aber kritische strukturelle Fehler. Dazu gehören fehlerhafte verschachtelte Listen, schlecht formatierte Tabellen, inkonsistente Überschriftenhierarchien und unbalancierte Code-Blöcke. Solche Fehler sind zwar oft auf der Ebene einzelner Token geringfügig, beeinträchtigen jedoch unverhältnismäßig stark die nachgelagerte Nutzbarkeit, die Parsing-Zuverlässigkeit und die menschliche Lesbarkeit.

Bestehende Ansätze stehen vor signifikanten Einschränkungen:

Prompt Engineering: Hochgradig sensitiv gegenüber Formulierungen und Kontext, oft mangelnd robust.
Constrained Decoding: Garantiert syntaktische Validität, führt jedoch zu Inferenz-Overhead und kann mit der Tokenisierung oder semantischen Fluenz des Modells kollidieren, insbesondere bei hybriden Ausgaben.
Supervised Fine-Tuning (SFT): Überpasst oft oberflächliche Regularitäten in Trainingsdaten, anstatt robuste, kontextsensitive Formatierungsprinzipien zu erlernen.
Reinforcement Learning (RL): Obwohl vielversprechend, verlassen sich bestehende Methoden oft auf aufgabenspezifisches Reward-Engineering oder starre Regeldefinitionen, denen es an Flexibilität über verschiedene Formatierungsschemata hinweg mangelt.

Darüber hinaus isolieren aktuelle Benchmarks den Markdown-Kontext selten, was die Diagnose von Formatierungsfehlern unter realistischen Instruktionsfolgeszenarien erschwert. Es mangelt an einem fokussierten Evaluierungsrahmen, der semantische Korrektheit mit struktureller Konformität ausbalanciert.

Methodik

1. FMBench: Ein Benchmark für die Markdown-Formatierung

Die Autoren führen FMBench ein, einen Benchmark, der darauf ausgelegt ist, die adaptive Markdown-Ausgabeformatierung unter realistischen Instruktionsfolgeszenarien zu evaluieren.

Datenerstellungs-Pipeline: Eine halbautomatisierte, vierstufige Pipeline generiert hochwertige, strikt formatierte Daten:
1. Dokumenten-Crawling: Sammeln von Rohdokumenten aus acht Domänen (akademisch, juristisch, technisch, etc.).
2. Dokumentenbereinigung: Standardisierung und Entfernung von Rauschen.
3. LLM-Formatierung: Anwendung von drei Formatierungsregeln zur Erzeugung strukturierter Daten mit variierenden Schwierigkeitsgraden.
4. Menschliche Verfeinerung: Expertenprüfung zur Korrektur der Grammatik, zur Stilpolitur und zur Sicherstellung der strukturellen Konformität.
Zusammensetzung des Datensatzes: Der Datensatz enthält 1.100 hochwertige Markdown-Dokumente (800 Training, 300 Test). Er zeichnet sich durch ein balanciertes strukturelles Design aus, bei dem die Komplexität durch die Tiefe verschachtelter Listen und die Anzahl der Elemente getrieben wird, anstatt durch extreme Abschnittszahlen.
Evaluationsmetriken:
- Semantischer Score: Gemessen via BERTScore-F1 zwischen der generierten Ausgabe und dem Referenztext, um die Inhaltsbewahrung zu bewerten.
- Struktur-Score: Ein struktureller Reward, der die Konformität mit der Zielformatierung und der Dokumentorganisation (z. B. Hierarchie, Blocktypen) misst.

2. Trainings-Pipeline: SFT + Reinforcement Learning

Das Paper schlägt eine leichtgewichtige Post-Training-Pipeline vor, um die Markdown-Konformität zu verbessern, ohne sich während der Inferenz auf harte Decoding-Beschränkungen verlassen zu müssen.

Stufe 1: Supervised Fine-Tuning (SFT):
- Basismodelle (OpenPangu und Qwen) werden mittels Low-Rank Adaptation (LoRA) auf Instruktions-Antwort-Paaren feinjustiert.
- Diese Stufe konzentriert sich darauf, das Modell an die Aufgabe der formatierten Textgenerierung anzupassen und die semantische Ausrichtung zu verbessern.
Stufe 2: Reinforcement Learning Fine-Tuning (RLFT):
- Im Anschluss an das SFT durchläuft das Modell ein RL-Feintuning mittels GRPO (Group Relative Policy Optimization).
- Reward-Design: Ein zusammengesetztes Ziel optimiert das Gleichgewicht zwischen semantischer Treue und struktureller Korrektheit:
  $r = \lambda_1 r_{sem} + \lambda_2 r_{struct}$
  - $r_{sem}$ : Berechnet via BERTScore-F1 zwischen der Ausgabe und der Referenz (unter Verwendung eines Longformer-Encoders für lange Dokumente).
  - $r_{struct}$ : Zielt auf eine hohe übergeordnete organisatorische Ähnlichkeit ab, indem die abstraktiven Zusammenfassungen der generierten Ausgabe und der Referenz verglichen werden.
- Die Policy wird über gruppenweise relative Reward-Vergleiche optimiert, wobei vier parallele Kandidatengenerierungen pro Prompt gesampelt werden.

Wichtigste Beiträge

Benchmark (FMBench): Der erste Benchmark, der sich exklusiv auf die Markdown-Ausgabeformatierung konzentriert, verschiedene strukturelle Anforderungen abdeckt (hierarchische Abschnitte, gemischte Prosa-Listen-Tabellen-Komposition, Code-Blöcke) und sowohl die semantische als als auch die strukturelle Achse evaluiert.
Methode: Ein praktisches Post-Training-Rezept, das SFT und RL (speziell GRPO) kombiniert, um die Markdown-Konformität zu verbessern und gleichzeitig die semantische Treue aufrechtzuerhalten, wodurch die Notwendigkeit harter Beschränkungen während der Inferenz entfällt.
Analyse: Empirische Ergebnisse über zwei Modellfamilien (OpenPangu und Qwen) hinweg, die den inhärenten Trade-off zwischen semantischen und strukturellen Zielen aufzeigen und die Notwendigkeit sorgfältig gestalteter Rewards demonstrieren.

Experimentelle Ergebnisse

Experimente wurden an OpenPangu (1B, 7B) und Qwen3 (1.7B, 8B) Modellen durchgeführt.

Gesamtleistung: Die vollständige Pipeline (SFT + GRPO) übertraf die vortrainierten Baselines konsistent sowohl in der semantischen Treue als auch in der strukturellen Konformität.
Effekte der Modellskalierung:
- SFT-Impact: SFT führte konsistent zu Verbesserungen in der semantischen Ausrichtung über alle Modellgrößen hinweg. Die strukturelle Leistung blieb nach SFT allein weitgehend unverändert oder verbesserte sich leicht.
- GRPO-Impact: Das Hinzufügen von GRPO auf Basis von SFT verbesserte oder bewahrte die strukturellen Scores weiter. Bei kleineren Modellen opferte GRPO manchmal leicht die semantische Genauigkeit zugunsten einer stärkeren strukturellen Konsistenz. Bei größeren Modellen (z. B. Qwen3-8B) erreichte die Kombination jedoch die beste Gesamtleistung in beiden Metriken, was darauf hindeutet, dass eine höhere Modellkapazität entscheidend für die gemeinsame Optimierung dieser konkurrierenden Ziele ist.
Zentrale Erkenntnis: SFT ist der dominante Faktor für die semantische Verbesserung, während GRPO als komplementärer Mechanismus dient, um die strukturelle Robustheit zu verstärken, insbesondere wenn es von einer starken SFT-Policy initialisiert wird.

Bedeutung und Behauptungen

Das Paper postuliert, dass die zuverlässige Bereitstellung von LLMs in nutzerorientierten und systemintegrierten Workflows nicht nur eine semantische Korrektheit, sondern auch eine stabile, für Menschen nutzbare Formatierung erfordert.

Formatierung als Alignment-Ziel: Die Autoren argumentieren, dass das Formatierungsverhalten als explizites Alignment-Ziel behandelt werden sollte und nicht lediglich als Nebenprodukt der Instruktionsbefolgung.
Bewusstsein für Trade-offs: Die Ergebnisse verdeutlichen eine inhärente Spannung zwischen semantischen und strukturellen Zielen. Eine naive Erhöhung der Gewichtung für strukturelle Rewards kann zu überregulierten, schablonenartigen Ausgaben führen, die den Inhalt verzerren. Daher müssen Reward-Designs sowohl validatorbasiert als auch instruktionskonditioniert sein.
Praktischer Nutzen: FMBench wird als diagnostisches Werkzeug präsentiert, um weitere Forschung zu Alignment-Methoden anzuregen, die Formatierung als eine primäre Zuverlässigkeitsanforderung für eine verlässliche strukturierte Generierung behandeln.

Die Autoren räumen Einschränkungen ein, darunter die Unfähigkeit, das gesamte "Long Tail" realer Autorensstile abzudecken, die Subjektivität bestimmter struktureller Entscheidungen sowie die Abhängigkeit von referenzbasierten Evaluationen, die möglicherweise mehrere valide Realisierungen desselben Intents übersehen könnten. Sie schlagen vor, dass zukünftige Arbeiten hybride Constraint-Learning-Ansätze, die Erweiterung auf andere strukturierte Formate (JSON/YAML) und eine menschenzentrierte Evaluation untersuchen sollten.