Prosa: Rubric-Based Evaluation of LLMs on Real User Chats in Brazilian Portuguese
Das Papier stellt Prosa vor, den ersten Benchmark für mehrstufige Chats mit echten Nutzern in brasilianischem Portugiesisch, und zeigt, dass die Verwendung einer binären Rubrikenbewertung mit Multi-Judge-Filterung die Evaluierungsstabilität und diskriminierende Kraft im Vergleich zu herkömmlichen ganzheitlichen LLM-as-a-Judge-Methoden signifikant verbessert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, die besten Köche einer Stadt zu rangieren. In der Vergangenheit hätten Sie vielleicht einen Food-Kritiker gebeten, ein Gericht zu probieren und ihm eine einzelne Note von 1 bis 10 zu geben. Dies ist vergleichbar mit der aktuellen Bewertungsmethodik für die meisten KI-Modelle: Eine „richterliche" KI liest eine Antwort und vergibt eine einzige ganzheitliche Note.
Das Problem, wie dieses Papier erklärt, besteht darin, dass verschiedene Kritiker unterschiedliche Geschmäcker haben. Der eine liebt scharfes Essen, während der andere es hasst. Wenn Sie drei verschiedene Kritiker bitten, dieselben 16 Köche zu rangieren, könnten sie sich zwar alle darüber einig sein, wer der schlechteste ist, sich aber völlig uneinig darüber, wer der beste ist. Dies macht die Rangliste unzuverlässig.
Die Lösung des Papiers: Die „Checklisten"-Methode
Die Forscher hinter Prosa (ein neuer Benchmark für KI-Chats auf Brasilianisch-Portugiesisch) beschlossen, das Spiel zu verändern. Anstatt den Richter zu fragen: „Wie gut ist dieses Gericht insgesamt?", gaben sie den Richtern eine spezifische Checkliste mit binären (Ja/Nein-)Fragen.
- Alter Weg (Ganzheitlich): „Bewerten Sie dieses Gespräch von 1 bis 10." (Subjektiv, anfällig für Verzerrungen).
- Neuer Weg (Rubrikbasiert): „Hat die KI die Frage beantwortet? Ja/Nein. Ist sie höflich geblieben? Ja/Nein. Hat sie vermieden, Dinge zu erfinden? Ja/Nein."
Stellen Sie sich dies wie eine Fahrprüfung vor. Anstatt dass ein Prüfer sagt: „Sie haben ziemlich gut gefahren, ich gebe Ihnen eine 8", hakt er spezifische Kästchen ab: „Haben Sie Ihren Blinker benutzt? Ja/Nein. Haben Sie an der roten Ampel angehalten? Ja/Nein."
Die „Filter"-Magie
Die Forscher stellten fest, dass manchmal die Checklistenpunkte selbst defekt sind. Vielleicht ist eine Frage so einfach, dass jeder Koch sie besteht, oder so schwer, dass jeder durchfällt. Diese „defekten Fragen" verderben die Rangliste.
Daher fügten sie einen Filter-Schritt hinzu. Bevor sie die Noten finalisierten, ließen sie die Checkliste durch ein „Qualitätskontroll"-Team laufen. Sie verworfen Fragen, die zu einfach, zu schwer oder verwirrend waren. Dies ließ ihnen einen scharfen, hochwertigen Satz von Fragen übrig, der tatsächlich den Unterschied zwischen einem guten Koch und einem großartigen Koch erkennen konnte.
Die große Entdeckung
Hier ist der überraschendste Teil ihrer Erkenntnisse:
- Der Richter ist weniger wichtig als die Methode: Als sie die alte „1-bis-10"-Methode verwendeten, lieferten drei verschiedene KI-Richter (von unterschiedlichen Unternehmen) völlig unterschiedliche Ranglisten für die Spitzenköche. Doch als sie zur Methode „Checkliste + Filter" wechselten, waren sich alle drei Richter bei der exakt gleichen Rangliste für alle 16 Köche einig.
- Es ist günstiger: Da die Checkliste die Aufgabe in einfache Ja/Nein-Fragen zerlegt, benötigen Sie keine übermäßig teure, „superintelligente" KI für die Bewertung. Sie können eine günstigere, schnellere KI (wie Gemini 3 Flash) verwenden und erhalten dennoch dieselbe perfekte Rangliste. Die Bewertung eines neuen Modells mit dieser Methode kostet etwa 2,10 $, im Vergleich zu deutlich höheren Kosten bei anderen Methoden.
Was ist Prosa?
Prosa ist der erste Benchmark dieser Art für Brasilianisch-Portugiesisch.
- Realität: Anstatt erfundener Testfragen (wie bei einer Schulprüfung) verwendeten sie 1.000 echte Gespräche, die echte Menschen in Brasilien mit einer KI geführt hatten. Dies erfasst, wie Menschen tatsächlich sprechen, den Slang, den sie verwenden, und die echten Probleme, die sie zu lösen versuchen.
- Das Ergebnis: Sie rangierten 16 verschiedene KI-Modelle. Den ersten Platz belegte OpenAIs GPT-5.2, gefolgt von Google- und Alibaba-Modellen. Interessanterweise schnitt ein Open-Source-Modell (Qwen3-235B) so gut ab, dass es mehrere teure, proprietäre Modelle schlug.
Zusammenfassung
Das Papier argumentiert, dass wir, um KI-Modelle fair zu rangieren, aufhören sollten, Richter nach einem vagen „Gefühl" der Qualität zu fragen, und stattdessen eine strenge, gefilterte Checkliste einfacher Fakten verwenden sollten. Diese Methode entfernt die Verzerrung des spezifischen Richters, macht die Rangliste viel stabiler und spart Geld, und dies alles unter Verwendung realer Gespräche aus Brasilien als Testumgebung.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.