💬 NLP

HoWToBench: Holistic Evaluation for LLM's Capability in Human-level Writing using Tree of Writing

Die Arbeit stellt HoWToBench, einen umfassenden Benchmark für chinesische Textgenerierung, und Tree-of-Writing (ToW), eine robuste, baumstrukturierte Evaluierungsmethode, vor, die menschliche Bewertungen präziser nachahmt als bestehende Metriken und LLMs als Richter.

Ursprüngliche Autoren: Andrew Zhuoer Feng, Cunxiang Wang, Yu Luo, Lin Fan, Yilin Zhou, Zikang Wang, Xiaotao Gu, Jie Tang, Hongning Wang, Minlie Huang

Veröffentlicht 2026-04-22

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Andrew Zhuoer Feng, Cunxiang Wang, Yu Luo, Lin Fan, Yilin Zhou, Zikang Wang, Xiaotao Gu, Jie Tang, Hongning Wang, Minlie Huang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Chefkoch in einer riesigen Küche, und Ihre Aufgabe ist es, die besten neuen Rezepte (geschrieben von künstlicher Intelligenz) zu bewerten. Bisher haben die Köche oft nur auf die Zutaten geachtet: "Ist das Fleisch frisch? Ist das Gemüse grün?" Das reicht aber nicht, wenn es um ein komplexes Gericht geht. Ein gutes Gericht braucht auch den richtigen Geschmack, die perfekte Präsentation und das Gefühl, das es beim Gast hinterlässt.

Genau dieses Problem lösen die Autoren dieses Papers mit einem neuen Werkzeug namens HowToBench und einer Bewertungsmethode namens Tree-of-Writing (ToW).

Hier ist die Erklärung in einfachen Worten, mit ein paar bildhaften Vergleichen:

1. Das Problem: Der "Schiedsrichter", der verwirrt ist

Bisher haben Computer versucht, andere Computer-Texte zu bewerten, indem sie einfach alle Punkte zusammengezählt haben (wie in einer Schulnote: 5 Punkte für Grammatik + 5 Punkte für Inhalt = 10).
Das Problem dabei ist, dass Computer oft nicht wissen, was wichtiger ist. Bei einem Liebesbrief ist die Emotion viel wichtiger als die Grammatik. Bei einem juristischen Vertrag ist es genau umgekehrt.
Stellen Sie sich einen Schiedsrichter vor, der bei einem Fußballspiel versucht, gleichzeitig die Schiedsrichterregeln, die Choreografie der Choreografen und die Stimmung im Stadion zu bewerten, ohne zu wissen, was gerade zählt. Das Ergebnis ist oft inkonsistent und verwirrend. Das nennen die Autoren "Verhandlungs-Inkonsistenz". Der Computer "verhandelt" sich selbst durch die Kriterien und kommt jedes Mal zu einem anderen Ergebnis.

2. Die Lösung: Der "Baum des Schreibens" (Tree-of-Writing)

Um dieses Chaos zu beenden, haben die Forscher einen Baum gebaut.
Stellen Sie sich einen echten Baum vor:

Der Stamm ist die Gesamtnote.
Die Hauptäste sind die großen Kategorien: Inhalt, Format und Gesamteindruck.
Die kleinen Äste und Blätter sind die Details: Logik, Emotion, Wortwahl, Absätze, Titel.

Der Clou an dieser Methode ist, dass ein intelligenter "Verhandlungsführer" (ein spezielles KI-Programm) für jeden einzelnen Text entscheidet, welche Äste dick und welche dünn sein müssen.

Bei einem Gedicht macht der Ast "Emotion" dicke Äste (er ist sehr wichtig).
Bei einem technischen Bericht macht der Ast "Logik" dicke Äste.

So wird vermieden, dass der Computer willkürlich entscheidet. Es ist wie ein erfahrener Lehrer, der weiß: "Für diesen Aufsatz ist die Kreativität wichtiger als die Rechtschreibung", und passt die Gewichtung entsprechend an.

3. Der Prüfplatz: HowToBench

Um diese Methode zu testen, haben die Forscher einen riesigen Prüfplatz namens HowToBench gebaut.
Stellen Sie sich das wie eine riesige Bibliothek mit 12 verschiedenen Abteilungen vor (Romane, Gedichte, Zeitungsartikel, Verträge, Reden usw.). In jeder Abteilung gibt es 1302 verschiedene Aufgaben.
Das Besondere: Die "Vorbilder" (die perfekten Lösungen) wurden nicht von Computern geschrieben, sondern von echten menschlichen Experten. Es ist wie ein Vergleich: "Wie gut ist die KI im Vergleich zu einem echten, erfahrenen Schriftsteller?"

Die Aufgaben sind in drei Schwierigkeitsstufen unterteilt, wie bei einem Videospiel:

Level 1 (Vervollständigung): Der Text ist fast fertig, die KI muss nur die fehlenden Lücken füllen (wie ein Lückentext).
Level 2 (Geführtes Schreiben): Die KI bekommt einen groben Plan (ein Skelett) und muss das Fleisch drumherum schreiben.
Level 3 (Offenes Schreiben): Die KI bekommt nur ein Thema und muss alles selbst erfinden. Das ist das härteste Level.

4. Was haben sie herausgefunden? (Die Überraschungen)

Als sie die besten KI-Modelle (wie GPT-4, Claude, DeepSeek) getestet haben, kamen einige interessante Dinge ans Licht:

Länger ist nicht besser: Früher dachten viele, wenn die KI einfach mehr schreibt, ist es besser. Aber das ist ein Trugschluss. Bei schwierigen Aufgaben führt mehr Text oft zu schlechteren Noten. Es ist wie bei einem Redner: Wenn er nur redet und redet, ohne neuen Inhalt, wird das Publikum gelangweilt. Die KI kann nicht einfach "Informationen stapeln", um einen guten Text zu machen; sie muss die Qualität verbessern.
Robustheit: Wenn man den Text der KI absichtlich "verunstaltet" (z. B. Sätze wiederholt oder Teile löscht), dann fallen die alten Bewertungsmethoden sofort auf den Schrott. Aber der "Baum des Schreibens" (ToW) bleibt stabil und erkennt sofort: "Hey, hier stimmt etwas nicht!"
Der Unterschied zwischen Nachahmen und Verstehen: Die KIs sind super darin, Anweisungen zu befolgen (wie ein Roboter). Aber wenn es darum geht, echte menschliche Gefühle oder komplexe Geschichten zu erzählen, hinken sie immer noch hinterher. Sie können das "Spiel" spielen, aber sie verstehen die tiefe Absicht dahinter noch nicht ganz.

Fazit

Dieses Papier ist wie eine neue, fairere Art, KIs zu bewerten. Statt sie nur auf das zu prüfen, was sie gesagt haben (Wort für Wort), schaut man sich an, wie sie es gesagt haben und ob es zum Zweck passt. Der "Baum des Schreibens" sorgt dafür, dass die Bewertung so fair und differenziert ist wie die eines menschlichen Experten, aber viel schneller und konsistenter.

Es zeigt uns: Um wirklich gute Texte zu schreiben, reicht es nicht, einfach nur viele Wörter zu produzieren. Man braucht Struktur, Gefühl und den richtigen Fokus – und genau das lernt unsere KI noch.

1. Problemstellung

Die Bewertung der Schreibfähigkeiten von Large Language Models (LLMs) stellt eine erhebliche Herausforderung dar, insbesondere bei offenen, mehrdeutigen und kreativen Textaufgaben.

Limitationen bestehender Metriken: Traditionelle referenzbasierte Metriken (wie BLEU, ROUGE) sind für offene Schreibaufgaben ungeeignet, da sie oft nur lexikalische Überlappungen messen und semantische Nuancen ignorieren.
Schwächen von „LLM-as-a-Judge": Aktuelle Ansätze, die LLMs als Bewerter einsetzen, leiden unter Inkonsistenzen. Wenn ein LLM-Bewerter verschiedene Teilaspekte (z. B. Fluency, Logik, Format) bewertet und diese dann aggregiert, neigt er zu einer „Verhandlungs-Inkonsistenz" (Negotiation Inconsistency). Das bedeutet, dass die Gewichtung der Kriterien in verschiedenen Durchläufen willkürlich schwankt, was zu unzuverlässigen und intransparenten Ergebnissen führt.
Fokus auf Nachahmung: Viele bestehende Benchmarks behandeln Schreiben als ein „Nachahmungsspiel" (Mimicking Game), bei dem es nur darum geht, explizite Anweisungen zu erfüllen, und nicht darum, implizite Anforderungen für nuancierte, menschliche Schreibstile zu erfüllen.

2. Methodik

Das Paper stellt zwei Hauptkomponenten vor: das Evaluierungs-Framework Tree-of-Writing (ToW) und den Benchmark HOWTOBENCH.

A. Tree-of-Writing (ToW) Framework

ToW löst das Problem der inkonsistenten Aggregation, indem es den menschlichen Entscheidungsprozess simuliert und eine baumstrukturierte Workflow-Architektur verwendet.

Baumstruktur: Die Bewertung wird als Baum modelliert, der in drei Hauptknoten (Wurzel) unterteilt ist:
1. Inhalt (Content): Bewertet semantische Qualität (z. B. Kohärenz, Logik, Reichtum, Anfang/Ende).
2. Format (Format): Bewertet strukturelle Einhaltung (z. B. Handlung, Absätze, Formatierung).
3. Eindruck (Impression): Eine ganzheitliche, subjektive Bewertung ohne weitere Unterteilung.
Explizite Gewichtung: Im Gegensatz zu impliziten Aggregationsstrategien nutzt ToW einen „Negotiator" (ein LLM), der für jede spezifische Schreibanweisung explizite Kantengewichte ( $w$ ) für die Unterpunkte (Blattknoten) bestimmt. Diese Gewichte summieren sich auf 1 und können sogar negativ sein (z. B. geringe Gewichtung von Emotion bei juristischen Texten).
Bewertungsprozess:
- Ein Negotiator plant die Aggregation basierend auf Genre und Aufgabentyp.
- Spezialisierte Expert-Agenten bewerten die einzelnen Blattknoten (z. B. ein Agent für Logik, einer für Sprache).
- Die Teilergebnisse werden mittels Tiefensuche (DFS) und den expliziten Gewichten aggregiert.
Vorteil: Dies erhöht die Reproduzierbarkeit, Transparenz und Robustheit gegenüber Textstörungen (wie Wiederholungen oder Genre-Wechseln).

B. HOWTOBENCH Benchmark

HOWTOBENCH ist ein groß angelegter chinesischer Benchmark, der entwickelt wurde, um menschliches Schreibniveau zu testen.

Umfang: 1302 Schreibanweisungen über 12 verschiedene Genres (z. B. fiktionale Geschichten, Poesie, Argumentationen, offizielle Dokumente, Verträge).
Aufgabenarten (Progressive Schwierigkeit):
1. Completion (Vervollständigung): Das Modell muss fehlende Teile eines Textes basierend auf Kontext ergänzen.
2. Guide (Geführtes Schreiben): Das Modell schreibt basierend auf einem detaillierten Gliederungsentwurf.
3. Open (Offenes Schreiben): Das Modell schreibt frei zu einem Thema ohne weitere Vorgaben (höchste Schwierigkeit).
Datenqualität: Die Referenztexte stammen von menschlichen Experten und wurden sorgfältig kuratiert (96,85% Passrate bei Qualitätschecks). Sie sind frei von KI-generiertem Inhalt.

3. Wichtige Beiträge

Tree-of-Writing (ToW): Ein neues Evaluierungs-Framework, das die „Verhandlungs-Inkonsistenz" von LLM-Bewertern durch explizite, anweisungsspezifische Gewichtung von Bewertungskriterien eliminiert.
HOWTOBENCH: Der erste Benchmark, der menschliches Schreibniveau umfassend über 12 Genres und drei Schwierigkeitsstufen hinweg bewertet, mit einem starken Fokus auf implizite Anforderungen und kreatives Schreiben.
Robustheitsanalyse: Der Nachweis, dass ToW robust gegenüber Textstörungen (z. B. Wiederholungen, Genre-Wechsel) ist, während herkömmliche Metriken und LLM-as-a-Judge-Methoden hier versagen.
Erkenntnisse zu Input-Länge: Die Studie zeigt eine negative Korrelation zwischen der Länge von Eingabe/Ausgabe und der Gesamtbewertung bei offenen Aufgaben. Mehr Input führt nicht automatisch zu besserer Qualität; LLMs können Informationen nicht einfach „stapeln", um nuancierte Texte zu erzeugen.

4. Ergebnisse

Korrelation mit menschlichen Urteilen: ToW erreicht eine Pearson-Korrelation von 0,93 mit menschlichen Bewertungen, was deutlich höher ist als bei traditionellen Metriken (BLEU/ROUGE) oder anderen LLM-as-a-Judge-Ansätzen (wie Auto-Planning oder festen Rubriken).
Vergleich von LLMs: Bei der Evaluation von 10 führenden Modellen (u.a. GPT-4o, DeepSeek-R1, Claude-3.5, Gemini-2.0) zeigte sich:
- Modelle performen gut bei eingeschränkten Aufgaben (Completion), aber die Leistung bricht bei offenen Aufgaben (Open) drastisch ein (z. B. -18,8% bei GPT-4o).
- Es gibt eine hohe Genre-Sensitivität; Modelle beherrschen strukturierte Formate (Briefe) besser als anspruchsvolle kreative Genres (Fiktion).
Robustheit: ToW reagiert konsistent mit Punktabzügen auf Textstörungen, während andere Methoden (wie BLEU oder Auto-Planning) manchmal fälschlicherweise höhere Scores vergeben oder stark schwanken.
Ablationsstudie: Das Entfernen eines der drei Hauptknoten (Inhalt, Format, Eindruck) führt zu einem signifikanten Abfall der Korrelation, was bestätigt, dass alle drei Dimensionen für eine ganzheitliche Bewertung notwendig sind.

5. Bedeutung und Fazit

Die Arbeit adressiert eine kritische Lücke in der NLP-Forschung: Die Fähigkeit von LLMs, menschenähnliche, nuancierte Texte zu verfassen, wird durch aktuelle Evaluierungsmethoden nicht adäquat gemessen.

Paradigmenwechsel: Statt nur zu prüfen, ob Anweisungen befolgt wurden („Mimicking"), bewertet HOWTOBENCH und ToW die eigentliche Schreibqualität, einschließlich impliziter Anforderungen wie Stil, Ton und emotionaler Tiefe.
Zukunft der Evaluation: ToW bietet einen skalierbaren, interpretierbaren und robusten Ansatz, der als neuer Standard für die Bewertung von Generativem KI-Text dienen könnte.
Implikationen für Modelle: Die Ergebnisse zeigen, dass selbst die fortschrittlichsten Modelle Schwierigkeiten haben, bei geringerem Input-Kontext (Open Writing) qualitativ hochwertige Texte zu generieren, was darauf hindeutet, dass reine Skalierung von Parametern oder Eingabelängen nicht ausreicht, um echtes menschliches Schreibniveau zu erreichen.

Zusammenfassend bietet das Paper einen fundamentalen Fortschritt in der Evaluation von LLMs, indem es ein strukturiertes, baumbasiertes Bewertungssystem mit einem hochwertigen, menschlich kuratierten Benchmark kombiniert, um die Lücke zwischen maschineller Textgenerierung und menschlicher Schreibkompetenz präziser zu messen.