🤖 machine learning

Feedback-to-Rubrics: Can We Learn Expert Criteria from Inline Comments?

Dieser Beitrag stellt eine Methode vor und bewertet sie, um automatisch wiederverwendbare Rubriken in natürlicher Sprache aus angesammelten Inline-Kommentaren abzuleiten, und zeigt, dass diese verdichteten Kriterien die Vorhersage von Kommentaren, das Verständnis von Rubriken sowie die automatische Überarbeitung von Artefakten sowohl in realen als auch in kontrollierten Umgebungen wirksam unterstützen können.

Ursprüngliche Autoren: Kotaro Yoshida, So Kuroki, Yuki Imajuku, Taishi Nakamura, Ryunosuke Iwai, Haruki Goda, Takuya Akiba

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kotaro Yoshida, So Kuroki, Yuki Imajuku, Taishi Nakamura, Ryunosuke Iwai, Haruki Goda, Takuya Akiba

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein junger Redakteur in einem Verlag. Sie haben einen Stapel Manuskripte, wissen aber nicht genau, wonach Ihre leitenden Redakteure suchen. Sie haben ihre roten Stiftmarkierungen (Inline-Kommentare) an alten Entwürfen gesehen, aber Ihnen wurden nie die Regeln hinter diesen Markierungen erklärt. Sie wissen, dass sie einen Satz umkreisen und „Zu vage" schreiben, aber Sie wissen nicht, ob das bedeutet „mehr Zahlen angeben", „die Logik erklären" oder „eine Quelle zitieren".

Dieses Papier mit dem Titel "Feedback-to-Rubrics" handelt davon, einem Computer beizubringen, diese versteckten Regeln allein durch das Betrachten des Stapels roter Stiftmarkierungen zu entschlüsseln.

Hier ist die Aufschlüsselung dessen, was sie getan haben, unter Verwendung einfacher Analogien:

1. Das Problem: Das „stillschweigende" geheime Rezept

Normalerweise haben Experten (wie leitende Redakteure oder Wissenschaftler), die Arbeiten begutachten, eine mentale Checkliste darüber, was etwas gut oder schlecht macht. Aber sie schreiben diese Checkliste selten auf. Es ist „stillschweigendes" Wissen – wie ein Koch, der weiß, dass die Suppe mehr Salz braucht, aber nicht genau erklären kann, warum oder wie viel, ohne sie vorher zu probieren.

Large Language Models (LLMs) sind großartig im Schreiben, aber sie sind schrecklich darin, diese versteckten, ungeschriebenen Regeln zu erraten. Wenn Sie einer KI sagen „Machen Sie das besser", ändert sie möglicherweise die falschen Dinge, weil sie den spezifischen „Geschmack" der Präferenzen des Experten nicht kennt.

2. Die Lösung: Aus „Kratzern" ein „Rezept" machen

Die Autoren schlagen einen neuen Weg vor, um diese Regeln zu lernen. Anstatt Menschen zu bitten, ein Regelbuch zu schreiben (was schwierig ist, weil sie nicht wissen, wie sie ihre Bauchgefühle erklären sollen), betrachten sie die Inline-Kommentare, die Experten bereits an Tausenden von Entwürfen hinterlassen haben.

Stellen Sie sich die Inline-Kommentare als Kratzer auf einer Karte vor.

Der alte Weg: Versuchen Sie, den Schatzort zu erraten, indem Sie die gesamte Karte betrachten.
Der Weg dieses Papiers: Betrachten Sie jeden einzelnen Kratzer, herausfinden, nach welcher Art von Schatz der Kartenmacher gesucht hat, und dann eine neue, klare „Schatzkarte" (eine Rubrik) zeichnen, die genau erklärt, wo man suchen muss.

3. Wie die Maschine lernt: Die „Verraten, Prüfen und Korrigieren"-Schleife

Die Methode funktioniert wie ein Schüler, der für eine Prüfung lernt, indem er Übungsaufgaben macht und den Lösungsschlüssel überprüft.

Der erste Versuch: Der Computer betrachtet eine Reihe alter Entwürfe und die Kommentare darauf. Er versucht, ein grobes „Regelbuch" (Rubrik) basierend auf dem zu schreiben, was er sieht.
Die Simulation: Der Computer gibt dann vor, ein Experte zu sein. Er nimmt einen neuen Entwurf, liest sein eigenes Regelbuch und versucht, Kommentare dazu zu schreiben.
Der Realitätscheck: Er vergleicht seine eigenen Kommentare mit den echten Kommentaren, die vom menschlichen Experten geschrieben wurden.
- Hat der Computer einen Punkt verpasst, den der Mensch gemacht hat?
- Hat der Computer sich über etwas beschwert, das der Mensch ignoriert hat?
Die Korrektur (Der magische Schritt): Dies ist der wichtigste Teil. Der Computer sagt nicht nur „Ich habe es falsch gemacht". Er betrachtet genau, welche Regel in seinem Regelbuch den Fehler verursacht hat.
- Analogie: Stellen Sie sich vor, Sie versuchen, einen Kuchen zu backen. Sie probieren ihn, und er ist zu salzig. Anstatt nur zu sagen „Der Kuchen ist schlecht", erkennen Sie: „Ah, die Regel, die ich geschrieben habe, lautete 'eine Prise Salz hinzufügen', aber ich brauchte eigentlich 'eine Prise Salz pro Tasse Mehl'."
- Der Computer aktualisiert sein Regelbuch, um es spezifischer zu machen, und fügt Grenzen und Beispiele hinzu, damit er das nächste Mal nicht denselben Fehler macht.

Sie tun dies immer wieder (iterativ) und verfeinern das Regelbuch, bis es den Stil des Experten perfekt nachahmt.

4. Was sie fanden (Die Ergebnisse)

Die Autoren testeten dies an neun verschiedenen Arten von Texten, von Forschungsanträgen bis hin zu medizinischen Chat-Protokollen. Sie fanden drei Hauptdinge heraus:

Bessere Kommentare: Wenn sie das gelernte Regelbuch des Computers zur Generierung von Feedback verwendeten, war das Feedback viel genauer und hilfreicher als wenn der Computer kein Regelbuch hatte oder einfach nur ähnliche vergangene Kommentare nachschlug.
Ein klareres Regelbuch: Das finale Regelbuch war nicht nur eine Liste vager Ideen wie „Seien Sie klar". Es wurde zu einem detaillierten, spezifischen Leitfaden (z. B. „Wenn eine Forschungsfrage zu breit ist, weisen Sie darauf hin, dass sie einen spezifischen Umfang benötigt"). Es erfasste tatsächlich das „geheime Rezept" der Experten.
Bessere Überarbeitungen: Wenn sie dieses gelernte Regelbuch einer KI gaben und sie baten, einen schlechten Entwurf zu korrigieren, leistete die KI eine viel bessere Arbeit darin, den Text so zu verbessern, dass er den Wünschen der menschlichen Experten entsprach.

5. Das Fazit

Dieses Papier zeigt, dass Sie Experten nicht bitten müssen, ein Handbuch darüber zu schreiben, wie man Dinge begutachtet. Sie können einem Computer einfach seine früheren Notizen (Kommentare) zuführen, ihn wiederholt „die Regel erraten" und „den Fehler beheben" lassen, und er wird schließlich eine wiederverwendbare, schriftliche Reihe von Kriterien erlernen, die ihre Expertise erfasst.

Was sie NICHT getan haben:

Sie haben dies nicht an medizinischen Diagnosen oder klinischen Behandlungen getestet.
Sie haben nicht behauptet, dies werde menschliche Redakteure vollständig ersetzen.
Sie haben nicht gesagt, dass dies für jede Art von Daten funktioniert, sondern nur für Textentwürfe mit Inline-Kommentaren.

Kurz gesagt: Sie haben einem Computer beigebracht, zwischen den Zeilen menschlichen Feedbacks zu lesen und diese unordentlichen Notizen in ein sauberes, brauchbares Anleitungshandbuch zu verwandeln.

Technische Zusammenfassung: Feedback-to-Rubrics

Problemstellung

Large Language Models (LLMs) werden zunehmend für Unterstützung beim Schreiben und bei der Überprüfung eingesetzt, doch ihre Wirksamkeit wird häufig durch das Fehlen kontextabhängiger Kriterien eingeschränkt, wie etwa implizite Expertenpräferenzen oder organisationspezifische Konventionen. Während explizite Rubriken die Ausgaben von LLMs lenken können, sind diese Kriterien häufig nicht dokumentiert und schwer direkt von Menschen zu ermitteln. Bestehende Ansätze zum Lernen von Kriterien aus menschlichem Verhalten stützen sich typischerweise auf globale Urteilsignale (z. B. Zufriedenheitswerte oder paarweise Präferenzen) anstatt auf das lokale, spanenspezifische Feedback, das in Inline-Kommentaren zu finden ist.

Dieser Beitrag stellt Feedback-to-Rubrics vor, eine neue Problemstellung, die das Lernen wiederverwendbarer, natürlichsprachiger Rubriken aus angesammelten Inline-Kommentaren zu Textartefakten (z. B. menschlich verfasste oder von LLMs generierte Entwürfe) formalisiert. Die zentrale Herausforderung besteht darin, explizite Kriterien abzuleiten, die erklären, welche Bedenken Experten äußern, wann sie diese äußern und auf welcher Granularitätsebene, und dies ausschließlich auf Basis von Beobachtungen impliziter Kriterien, die in Kommentaren eingebettet sind.

Methodik

Der vorgeschlagene Ansatz lernt Rubriken durch eine iterative Schleife, die aus lernbasiertem Kommentarprediktionsverfahren und kommentarspezifischer Verfeinerung besteht.

1. Definition der Rubrik

Eine Rubrik im Durchgang $t$ ist definiert als eine Menge natürlichsprachiger Kriterien $R_t = \{c_k^{(t)}\}$ . Jedes Kriterium umfasst:

Anwendungsbedingungen: Wann in einem lokalen Kontext kommentiert werden soll.
Kriterientext: Das spezifische Anliegen und seine Granularität.
Grenzen: Einschränkungen, um Verwechslungen mit benachbarten Kriterien zu verhindern.
Beispiele: Repräsentative Zielzitate und Referenzkommentare.

2. Iterativer Verfeinerungszyklus

Die Methode arbeitet in Durchgängen und beginnt mit einer initialen Rubrik $R_0$ , die aus Trainingsdaten abgeleitet wurde:

Kommentarvorhersage und -bewertung: Ein Kommentar-LLM ( $G$ ) generiert Kommentare für Zielzitate, konditioniert auf die aktuelle Rubrik $R_t$ . Entscheidend ist, dass das Modell sowohl den Kommentar als auch die spezifische Teilmenge der Kriterien $C_{ij}^{(t)}$ ausgibt, die zur Generierung verwendet wurden. Ein Bewertungs-LLM ( $J$ ) vergleicht den generierten Kommentar dann mit dem Referenzkommentar und liefert einen Inhaltsbewertungswert sowie eine Begründung.
Kommentarspezifisches Verfeinerungssignal: Im Gegensatz zu früheren Arbeiten, die aggregierte Signale verwenden, konstruiert diese Methode ein Verfeinerungssignal $h_{ij}^{(t)}$ für jede Instanz, das das Vorhersageergebnis mit den spezifisch verwendeten Kriterien koppelt. Dieses Signal umfasst das Zielzitat, den Referenzkommentar, den generierten Kommentar, den Bewertungswert, die Begründung des Bewerters und die ausgewählten Kriterien.
Rubrik-Update: Ein Verfeinerungs-LLM nutzt diese kommentarspezifischen Signale, um die Rubrik auf $R_{t+1}$ zu aktualisieren. Es unterscheidet zwischen zu weit gefassten Kriterien, fehlenden Anliegen, unklaren Grenzen und redundanten Kriterien. Der Verfeinerungsprozess ermöglicht es dem System, breite Kriterien aufzuteilen, neue für fehlende Anliegen hinzuzufügen oder redundante zu verschmelzen, wobei Kriterien, die gut mit dem Referenzverhalten übereinstimmen, erhalten bleiben.

Hauptbeiträge

Problemformulierung: Die Einführung von Feedback-to-Rubrics, einer Umgebung zum Lernen wiederverwendbarer natürlichsprachiger Rubriken aus angesammelten Inline-Kommentaren, die die Lücke zwischen dem Lernen globaler Präferenzen und lokalem Feedback auf Spannebene schließt.
Methodische Innovation: Eine auf Kommentarprediktion basierende Methode, die initiale Rubriken ableitet und sie unter Verwendung von kommentarspezifischen Diskrepanzsignalen verfeinert. Dieser Ansatz verknüpft spezifische Vorhersagefehler mit den verwendeten Kriterien und ermöglicht granulare Updates der Anwendungsbedingungen und Grenzen der Rubrik.
Empirische Evaluation: Eine umfassende Evaluation über drei nachgelagerte Anwendungen hinweg:
- Kommentarvorhersage: Prüfung, ob verfeinerte Rubriken die Genauigkeit der Generierung von Kommentaren für zurückgehaltene Artefakte verbessern.
- Rubrikverständnis: Qualitative Inspektion der gelernten Rubriken und quantitative Evaluation ihrer Abdeckung und Präzision im Vergleich zu Referenzrubriken.
- Rubrikgeleitete Revision: Bewertung, ob gelernte Rubriken LLMs dabei unterstützen, Artefakte iterativ zu überarbeiten, um Expertenkriterien besser zu erfüllen.

Experimentelle Ergebnisse

Die Methode wurde an neun unterschiedlichen Aufgaben evaluiert, darunter reale Bewertungsdatensätze (Forschungsanträge, Aufsätze) und Benchmark-Szenarien, die von HealthBench und ExpertLongBench abgeleitet wurden (Bio, Chemie, Cyber, Bildung, Gesundheit, Material).

Kommentarvorhersage: Die vollständige Methode, die kommentarspezifische Verfeinerung nutzt, erreichte einen mittleren Inhaltsbewertungswert von 4,93 und übertraf dabei Baselines, einschließlich retrieval-basierter Methoden (Top-3 RAG: 3,97) und Generierung ohne Rubriken (2,90). Die Verwendung kommentarspezifischer Signale brachte eine konsistente Verbesserung gegenüber initialen Rubriken und aggregierten Verfeinerungssignalen.
Rubrikverständnis: Die quantitative Evaluation zeigte, dass die verfeinerten „Best-val"-Rubriken die Recall-Rate (Abdeckung der Referenzkriterien) im Durchschnitt um +1,17 Punkte über alle Domänen hinweg im Vergleich zu initialen Rubriken verbesserten, mit einem leichten Kompromiss bei der Präzision. Die qualitative Analyse bestätigte, dass die Verfeinerung die Abdeckung erweiterte, um feinere Muster (z. B. strukturelle Organisation, positives Feedback) einzuschließen, die in den initialen Hypothesen fehlten.
Artefakt-Revision: Bei Revisionsaufgaben erfüllten Artefakte, die unter Verwendung der Best-val-Rubrik überarbeitet wurden, signifikant mehr Referenzkriterien (durchschnittliche Verbesserung von +4,30) im Vergleich zur Bedingung ohne Rubrik (+3,41) und zur Bedingung mit initialer Rubrik (+4,03).

Bedeutung und Behauptungen

Der Beitrag behauptet, dass Inline-Feedback in wiederverwendbare, kontextabhängige Kriterien überführt werden kann, die als effektive Konditionierungssignale für LLMs dienen. Die Bedeutung dieser Arbeit liegt darin, zu demonstrieren, dass:

Implizite Kriterien externalisiert werden können: Expertenpräferenzen, die oft nicht dokumentiert sind, können aus angesammelten Inline-Kommentaren abgeleitet und in explizite Rubriken organisiert werden.
Lokale Signale globale Verbesserungen antreiben: Durch die Verwendung kommentarspezifischer Diskrepanzsignale anstelle globaler Urteile lernt die Methode Rubriken, die in lokalen Textspannen verankert sind, sich jedoch über Artefakte hinweg verallgemeinern.
Vielseitigkeit: Die gelernten Rubriken sind nicht auf die Kommentargenerierung beschränkt; sie unterstützen effektiv das Rubrikverständnis und leiten die automatische Revision von Artefakten zur Ausrichtung mit Expertenstandards.

Die Autoren weisen auf Einschränkungen hin, darunter die Abhängigkeit von einer LLM-basierten Evaluation für die Kommentarbewertung, die Annahme, dass Zielzitate vorab bereitgestellt werden (anstatt gemeinsam lokalisiert zu werden), sowie die Verwendung synthetischer Benchmark-Daten für die rubrikbasierte Evaluation aufgrund des Mangels an öffentlichen Datensätzen, die sowohl Inline-Kommentare als auch Referenzrubriken enthalten.