APRES: An Agentic Paper Revision and Evaluation System

Die Studie stellt APRES vor, ein auf Large Language Models basierendes System, das wissenschaftliche Manuskripte automatisch anhand einer zitationsvorhersagenden Rubrik überarbeitet, um deren Qualität und zukünftige Wirkung zu steigern, ohne den wissenschaftlichen Kerngehalt zu verändern.

Das Wesentliche

Stell dir vor, du hast einen brillanten Gedanken, eine wissenschaftliche Entdeckung, die die Welt verändern könnte. Aber wenn du sie aufschreibst, ist es, als würdest du ein Meisterwerk in einer verschmierten, unleserlichen Handschrift auf einem zerknitterten Zettel hinterlassen. Niemand versteht dich, und deine geniale Idee geht unter.

Das ist das Problem, das die Forscher mit APRES lösen wollen.

Hier ist die Erklärung in einfachen Worten, mit ein paar bildhaften Vergleichen:

1. Das Problem: Der chaotische "Bewertungs-Markt"

Wissenschaftler müssen ihre Arbeit anderen Experten vorlegen, damit diese prüfen, ob sie gut ist. Das nennt man "Peer Review". Stell dir das wie einen riesigen, überfüllten Musikfestival vor, bei dem tausende Bands (die Forscher) auftreten wollen, aber nur ein paar Richter (die Gutachter) da sind.

• Das Chaos: Die Richter sind müde, gestresst und manchmal uneinig. Ein Gutachter sagt: "Das ist genial!", der nächste sagt: "Das ist langweilig." Oft liegt es gar nicht an der Musik (der Wissenschaft), sondern daran, wie die Band auf der Bühne steht oder wie laut sie spricht (die Präsentation).
• Die Folge: Gute Ideen werden übersehen, weil sie schlecht verpackt sind.

2. Die Lösung: APRES – Der "KI-Super-Coach"

APRES ist wie ein hochintelligenter, geduldiger und unermüdlicher Coach, der von einer Künstlichen Intelligenz (KI) angetrieben wird. Er hat zwei Hauptaufgaben:

Aufgabe A: Den perfekten "Bewertungs-Code" finden (Rubric Search)

Normalerweise bewerten Richter nach festen Regeln, die seit Jahren gleich sind. APRES macht etwas anderes: Es sucht aktiv nach dem geheimen Rezept, das wirklich vorhersagt, welche wissenschaftlichen Arbeiten später berühmt werden (also viele Zitate bekommen).

• Die Analogie: Stell dir vor, du willst wissen, welcher Song ein Hit wird. Die alten Regeln sagen: "Der Song muss 3 Minuten lang sein." APRES ist wie ein Musik-DJ, der tausende Songs analysiert und merkt: "Aha! Eigentlich sind es nicht die 3 Minuten, sondern der Rhythmus im Refrain und die Art, wie der Text geschrieben ist, die den Hit ausmachen."
• APRES erfindet also eine neue, bessere Checkliste, die genau das misst, was wirklich zählt, und nicht nur das, was man traditionell misst.

Aufgabe B: Das Papier "aufpolieren" (Paper Revision)

Sobald APRES dieses neue, bessere Rezept gefunden hat, nimmt es dein wissenschaftliches Papier und verbessert es Schritt für Schritt.

• Die Analogie: Stell dir vor, dein Papier ist ein altes, verstaubtes Auto mit einem riesigen Motor (der genialen Idee). Aber die Karosserie ist dreckig, die Scheinwerfer sind kaputt und die Anleitung ist unverständlich.
• APRES ist wie ein mechanischer Meister, der das Auto poliert, die Scheinwerfer putzt und die Anleitung neu schreibt. Wichtig: Er ändert nicht den Motor! Die wissenschaftliche Wahrheit bleibt genau gleich. Er macht nur die Verpackung so glänzend und verständlich, dass jeder sofort sieht: "Wow, was für ein Motor da drin ist!"

3. Was hat es gebracht? (Die Ergebnisse)

Die Forscher haben APRES getestet und waren überrascht:

• Bessere Vorhersagen: Die neue KI-Checkliste von APRES konnte viel besser vorhersagen, welche Papers später berühmt werden, als die alten menschlichen Bewertungen oder andere Computer-Modelle.
• Menschen lieben die Ergebnisse: Wenn Experten zwei Versionen eines Papers verglichen haben – das Original und die von APRES polierte Version – haben sie in 79 % der Fälle die polierte Version bevorzugt. Sie fanden sie klarer, verständlicher und überzeugender.
• Fairer für alle: Besonders Papers, die "am Rand" lagen (also nicht ganz schlecht, aber auch nicht perfekt), wurden durch APRES so gut verbessert, dass sie plötzlich wie Gewinner aussahen.

4. Das große "Aber": Die KI ersetzt niemanden

Die Autoren betonen: APRES ist kein Ersatz für menschliche Experten.

• Die Analogie: Stell dir vor, ein Koch (der Wissenschaftler) kocht ein fantastisches Gericht. APRES ist wie ein Servier-Assistent, der das Essen auf den Teller legt, die Sauce schön verteilt und die Karte in einer klaren Schrift schreibt. Aber der Koch bleibt der Koch. Nur ein Mensch kann am Ende entscheiden, ob das Essen wirklich schmeckt und ob die Zutaten (die Wissenschaft) echt sind.
• Die KI kann die Präsentation retten, aber sie kann keine falschen Fakten in wahre Fakten verwandeln.

Fazit

APRES ist wie ein Übersetzer und Stylist für Wissenschaft. Es hilft brillanten Köpfen, ihre Ideen so klar und schön zu verpacken, dass sie nicht mehr im Chaos untergehen. Es macht die Wissenschaft verständlicher, fairer und schneller – damit die besten Ideen endlich das Licht der Welt erblicken.

Technische Zusammenfassung

1. Problemstellung

Das wissenschaftliche Peer-Review-System steht unter enormem Druck. Top-Konferenzen erhalten jährlich Zehntausende von Einreichungen, was zu Reviewer-Müdigkeit, langen Zyklen und vor allem zu inkonsistentem Feedback führt. Dies behindert die Verbesserung von Manuskripten und limitiert deren potenzielle Wirkung.
Zwar bieten Large Language Models (LLMs) neue Möglichkeiten für skalierbares Feedback, doch ihre direkte Anwendung birgt Risiken: Sie können unbeabsichtigt wissenschaftliche Behauptungen verändern, vom akademischen Stil abweichen oder auf starren, menschlich definierten Kriterien basieren, die nicht unbedingt die zukünftige Wirkung (Impact) eines Papers vorhersagen. Es fehlt ein System, das LLMs nutzt, um nicht nur zu bewerten, sondern auch die vorhersagbaren Kriterien für zukünftige Zitationen zu entdecken und diese zur automatisierten, aber kontrollierten Revision von Papieren zu nutzen, ohne den wissenschaftlichen Kerngehalt zu verfälschen.

2. Methodik: Das APRES-Framework

APRES ist ein zweistufiges, agentenbasiertes Framework, das auf LLMs und einer agilen Sucharchitektur (basierend auf MultiAIDE und AIDE) aufbaut.

Stufe 1: Entdeckung einer prädiktiven Rubrik (Rubric Search)

Das Ziel ist es, eine Evaluations-Rubrik zu finden, die die zukünftige Zitationsanzahl eines Papers besser vorhersagt als menschliche Bewertungen oder statische Metriken.

• Suchprozess: Ein „Rubric Proposer"-Agent schlägt oder verfeinert iterativ eine Menge von Bewertungskriterien (Rubrik-Items) vor.
• Bewertung: Ein „Reviewer"-Agent bewertet alle Papers im Datensatz basierend auf diesen Kriterien und erzeugt Merkmalsvektoren.
• Modellierung: Ein negatives Binomialregressionsmodell wird trainiert, um die tatsächliche Zitationsanzahl (nach 12 Monaten) aus den Rubrik-Scores vorherzusagen.
• Optimierung: Die Performance wird mittels Mean Absolute Error (MAE) gemessen. Der Suchprozess (mit Verzweigungs- und Debug-Mechanismen) wählt die besten Rubriken aus und passt sie an, um die Vorhersagegenauigkeit zu maximieren.
• Ergebnis: Es entsteht eine optimierte Rubrik ($R^*$), die als Surrogat-Funktion für den wissenschaftlichen Impact dient.

Stufe 2: Automatisierte Papierrevision (Paper Improvement)

Die in Stufe 1 entdeckte Rubrik $R^*$ wird als Zielfunktion für einen automatisierten Revisionsprozess verwendet.

• Iterativer Loop:
  1. Initial Scoring: Ein Reviewer-Agent bewertet das Originalpapier ($P_{ori}$) mit $R^*$.
  2. Revision: Ein „Rewriter"-Agent schlägt Änderungen vor, um den Score zu maximieren.
  3. Re-Evaluation: Die revidierte Version ($P_{rev}$) wird erneut bewertet.
  4. Selektion: Die Version mit dem höchsten Score wird für den nächsten Iterationsschritt ausgewählt.
• Wichtige Einschränkung (Constraint): Der Rewriter ist explizit angewiesen, keine experimentellen Ergebnisse, Daten oder technischen Behauptungen zu ändern. Änderungen dürfen nur die Darstellung, Klarheit, Struktur und den Ausdruck betreffen.
• Technische Umsetzung: Es wird ein diff-basierter Editierungsansatz verwendet (Suche-Ersetzen-Blöcke), um sicherzustellen, dass nur lokale Textteile geändert werden und Tabellen mit Ergebnissen unberührt bleiben.

3. Schlüsselergebnisse

Datengrundlage

Die Studie nutzt einen Datensatz von 26.707 Papieren und deren Peer-Reviews von vier Top-Konferenzen (ICLR 2024/25, NeurIPS 2023/24) sowie Zitationsdaten von Semantic Scholar.

Vorhersage des zukünftigen Impacts

• Verbesserung der Vorhersage: Die von APRES entdeckte Rubrik verbessert die Vorhersagegenauigkeit der Zitationsanzahl um 19,6 % (gemessen am MAE) im Vergleich zum besten Baseline-Modell (ein MLP auf SPECTER-Embeddings).
• Vergleich: Menschliche Reviewer-Scores (Baseline) erreichten einen MAE von ca. 5,0, während APRES mit Gemini 2.5 Pro einen MAE von unter 2,0 erreichte. Dies zeigt, dass LLM-gestützte Suchagenten Signale für zukünftigen Impact finden können, die menschliche Kriterien oder reine Embedding-Modelle übersehen.

Qualität der Papierrevision

• Human Evaluation: In einer Blindstudie mit Experten (PhD-Niveau) wurden 364 Paare von Original- und revidierten Papieren verglichen. Die revidierten Versionen wurden in 79 % der Fälle von den menschlichen Bewertern bevorzugt.
• Effekt auf verschiedene Paper-Kategorien:
  • Die Revision war besonders effektiv für „Borderline"-Papers (die knapp abgelehnt wurden), deren Scores sich signifikant verbesserten und sie oft in den Akzeptanzbereich hoben.
  • Für „Clear Reject"-Papers (schlechte Methodik) war die Verbesserung geringer, da das System nur die Präsentation optimiert, nicht aber fundamentale methodische Fehler beheben kann.
  • Für bereits akzeptierte „Clear Accept"-Papers waren die Verbesserungen marginal, was auf eine Sättigung der Textqualität hindeutet.

4. Hauptbeiträge

1. Entdeckung prädiktiver Kriterien: APRES ist die erste Methode, die nicht nur menschliche Bewertungen nachahmt, sondern durch agentic search neue, datengetriebene Evaluationskriterien entdeckt, die stark mit zukünftigen Zitationen korrelieren.
2. Geschlossener Revisions-Loop: Ein vollautomatisiertes System, das diese Kriterien nutzt, um Papiere iterativ zu verbessern, wobei strenge Constraints den wissenschaftlichen Inhalt schützen.
3. Empirische Validierung: Starke Belege dafür, dass LLMs als Werkzeug dienen können, um die Konsistenz von Reviews zu erhöhen und Autoren zu helfen, ihre Manuskripte vor der Einreichung zu „stress-testen".

5. Bedeutung und Ausblick

Die Arbeit unterstreicht, dass KI das Peer-Review-System nicht ersetzen, sondern augmentieren sollte.

• Rolle der KI: KI-Agenten können als konsistente, datengetriebene Basis dienen, um Autoren dabei zu helfen, ihre Arbeiten klarer und verständlicher zu formulieren. Dies entlastet menschliche Reviewer und reduziert die Zufälligkeit im Review-Prozess.
• Ethische Aspekte: Das System ist darauf ausgelegt, Manipulationen vorzubeugen (z. B. durch das Verbot, Ergebnisse zu ändern). Dennoch bleiben Risiken wie Prompt-Injection oder die Gefahr bestehen, dass Autoren versuchen, die KI-Metriken zu „gamen" (Goodhart's Law).
• Zukunft: Die Autoren plädieren für „Human-in-the-Loop"-Systeme, bei denen KI die menschliche Expertise unterstützt, um sicherzustellen, dass wissenschaftliche Entdeckungen klar kommuniziert werden und ihren vollen Impact entfalten können.

Zusammenfassend demonstriert APRES, dass LLMs in der Lage sind, über das reine Grammatik-Checking hinauszugehen und durch intelligente Suche nach Evaluationskriterien die Qualität und Sichtbarkeit wissenschaftlicher Arbeit signifikant zu steigern, ohne dabei die Integrität der Forschung zu gefährden.