Hyperparameter Analysis in Retrieval-Augmented Generation Systems Applied to the Public Prosecutor’s Office of the State of Espírito Santo Corpus

Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter-Freund, der Aufsätze schreiben, Witze erzählen und fast jede Frage beantworten kann, die Sie ihm stellen. Dieser Roboter ist wie ein brillanter Student, der das gesamte Internet gelesen hat. Aber hier ist der Haken: Dieser Student hat ein schreckliches Gedächtnis für Fakten. Wenn Sie ihn nach einem spezifischen Gesetz fragen, könnte er voller Selbstvertrauen eine Regel erfinden, die perfekt klingt, aber völlig erfunden ist. Dies nennt man „Halluzination“, und das ist ein großes Problem, wenn man präzise Informationen benötigt, wie etwa in einem Gerichtssaal oder einem Krankenhaus.

Um dies zu beheben, haben Wissenschaftler einen cleveren Trick namens Retrieval-Augmented Generation (RAG) erfunden. Denken Sie daran wie damit, Ihrem Roboter-Freund kurz vor der Prüfung einen Stapel Lehrbücher zu geben. Anstatt aus seinem eigenen Gedächtnis zu raten, schaut der Roboter zuerst in den Büchern nach der Antwort und schreibt dann seine Antwort basierend nur auf dem, was er gefunden hat. Es ist wie ein Detektiv, der die Beweisakte prüft, bevor er den Bericht schreibt. Aber es gibt eine Wendung: Wie Sie diese Bücher organisieren, ist entscheidend. Zerreißen Sie die Seiten in winzige Schnipsel? Behalten Sie ganze Kapitel zusammen? Und wie viele Seiten lassen Sie den Roboter lesen, bevor er anfängt zu schreiben? Wenn Sie diese Einstellungen falsch wählen, übersieht der Roboter vielleicht den entscheidenden Hinweis oder wird durch zu viel „Rauschen“ verwirrt. Dies ist genau das Rätsel, das ein Forscherteam in Brasilien lösen wollte.

---

Das Dilemma des Detektivs: Die Maschine abstimmen

Im Bundesstaat Espírito Santo, Brasilien, besitzt die Staatsanwaltschaft (MPES) eine riesige Bibliothek mit Rechtsdokumenten – tausende Gesetze, Regeln und Verordnungen. Jahrelang war das Finden einer spezifischen Regel ein Albtraum. Beamte mussten genau wissen, wo sie suchen mussten, sonst blieben sie stecken. Um zu helfen, bauten sie eine virtuelle Assistentin namens Fabi (benannt nach einer echten, super kompetenten Mitarbeiterin). Fabi nutzt den RAG-Trick: Sie liest die juristische Bibliothek und beantwortet Fragen für die Mitarbeiter.

Aber Fabi war nicht perfekt. Manchmal übersah sie wichtige Details; manchmal gab sie vage Antworten. Die Forscher unter der Leitung von Heitor Quartezani und seinem Team stellten eine einfache Frage: Welche Einstellungen machen Fabi zum bestmöglichen Detektiv? Sie raten nicht einfach; sie behandeln das Problem wie ein riesiges wissenschaftliches Experiment. Sie testeten jede Kombination von vier verschiedenen „Reglern“ des Systems, um zu sehen, welche die genauesten, ehrlichsten und hilfreichsten Antworten lieferte.

Hier ist, was sie gedreht haben und was sie fanden:

1. Die „Schneidestrategie“ (Chunking)

Stellen Sie sich vor, Sie haben eine lange, komplexe rechtliche Geschichte. Wie schneiden Sie diese auf, um sie dem Roboter zu geben?

• Die alte Art (Rekursiv): Schneiden Sie die Geschichte in feste Größenstücke, wie etwa das Zerschneiden eines Laib Brot in 500-Zeichen-Stücke. Das ist einfach, aber man könnte einen Satz in der Mitte durchschneiden und so den Sinn verlieren.
• Die smarte Art (Semantisch): Schneiden Sie die Geschichte nur dann, wenn sich das Thema ändert. Wenn das Gesetz von „Urlaubsregeln“ zu „Überstundenvergütung“ wechselt, ist das der Punkt, an dem Sie schneiden. Das hält die Ideen am Stück.

Das Ergebnis: Die Forscher entdeckten, dass die „smarte Art“ (semantisches Schneiden) der klare Gewinner war. Insbesondere das Schneiden basierend auf dem 95. Perzentil der Themenwechsel (das heißt, nur zu schneiden, wenn sich das Thema signifikant ändert) hielt die meisten Informationen intakt. Die „alte Art“, die Geschichte in winzige 500-Zeichen-Stücke zu zerlegen, war schrecklich; sie zerriss die juristische Logik und machte es dem Roboter unmöglich, die richtige Antwort zu finden. In der juristischen Arbeit kann das Fehlen eines einzigen Details katastrophal sein, daher war es der wichtigste Faktor, die Geschichte am Stück zu halten.

2. Die Suchmethode (Retrieval)

Wie findet Fabi die richtigen Seiten in der Bibliothek?

• Vektorsuche: Das ist so, als würden Sie den Roboter fragen: „Finde mir Dinge, die sich so anfühlen wie diese Frage.“ Das ist großartig, um Bedeutung zu verstehen, könnte aber exakte Wörter übersehen.
• Lexikalische Suche: Das ist wie ein klassischer Bibliotheks-Kartensatz. Sie sucht nach exakten Wortübereinstimmungen. Das ist gut für spezifische Begriffe, aber schlecht darin, Kontext zu verstehen.
• Hybride Suche: Das ist das Beste aus beiden Welten. Sie nutzt einen speziellen mathematischen Trick (genannt Reciprocal Rank Fusion), um die Suche nach dem „Gefühl“ und die Suche nach dem „exakten Wort“ zu kombinieren.

Das Ergebnis: Die hybride Suche war der Champion. Durch die Kombination beider Methoden konnte Fabi die richtigen Dokumente finden, selbst wenn der Nutzer die Frage auf eine ungewöhnliche Weise stellte oder einen sehr spezifischen juristischen Begriff verwendete. Die Suche nach dem „Gefühl“ allein war nicht ausreichend, und die Suche nach dem „exakten Wort“ allein war zu starr. Zusammen machten sie das System viel zuverlässiger.

3. Wie viel zu lesen (Top-K)

Wenn Fabi die besten Dokumente findet, wie viele sollte sie lesen, bevor sie antwortet? Soll sie 5 Seiten lesen? 20?

• Das Ergebnis: Je mehr sie las, desto besser wurde sie – zumindest bis zu einem gewissen Punkt. Das Lesen von 20 Dokumenten lieferte die besten Ergebnisse. Es stellte sich heraus, dass das Geben eines größeren „Netzes“, um Informationen einzufangen, half, die richtigen Hinweise zu finden, selbst wenn einige der zusätzlichen Seiten etwas verrauscht waren. Die Forscher stellten jedoch fest, dass nach 15 Dokumenten die Verbesserung der endgültigen Antwortqualität statistisch nicht mehr signifikant war. Daher war das Lesen von 20 Dokumenten zwar etwas besser, kostete aber mehr Rechenleistung. Sie schlugen vor, dass das System in Zukunft einen smarteren Filter nutzen könnte, um weniger Seiten zu lesen, aber dennoch die gleichen großartigen Ergebnisse zu erzielen.

4. Die Gehirnsleistung (LLM-Wahl)

Schließlich testeten sie zwei verschiedene „Gehirne“ für Fabi: das massive, superintelligente gpt-4o und das kleinere, schnellere gpt-4o-mini.

• Die Überraschung: Man könnte denken, dass das größere, teurere Gehirn gewinnen würde. Aber das kleinere gpt-4o-mini schnitt tatsächlich genauso gut ab oder sogar besser!
• Warum? Das riesige Gehirn war so intelligent, dass es manchmal versuchte, zu kreativ zu sein. Wenn der Roboter 20 Dokumente las, begann das große Gehirn, Ideen zu vermischen oder den Text überzuinterpretieren, was zu kleinen Fehlern führte. Das kleinere Gehirn hingegen war gehorsamer. Es hielt sich strikt an den bereitgestellten Text und extrahierte die Fakten, ohne eine eigene „Note“ hinzuzufügen. Für einen juristischen Assistenten, der präzise sein muss, war eine gewisse Literalität tatsächlich eine Superkraft.

Das abschließende Urteil

Die Forscher haben nicht nur geraten; sie führten 3.840 verschiedene Experimente durch (das sind 96 getestete Einstellungen gegenüber 40 verschiedenen Fragen) und nutzten fortgeschrittene Mathematik, um ihre Ergebnisse zu beweisen.

Sie kamen zu dem Schluss, dass man, um den besten juristischen Assistenten zu bauen:

1. Die Dokumente nach Themen zu schneiden und nicht nach fester Größe.
2. Eine hybride Suche zu verwenden, die Bedeutung und exakte Wörter kombiniert.
3. Etwa 20 Dokumente zu lesen, um sicherzustellen, dass nichts übersehen wird.
4. Ein kleineres, günstigeres KI-Modell (gpt-4o-mini) zu verwenden, da es Anweisungen strenger befolgt und weniger Fehler macht.

Diese Studie ist von großer Bedeutung, weil sie über das bloße „Lass uns das mal probieren und schauen, was passiert“ hinausgeht. Sie nutzt rigorose Wissenschaft, um uns genau zu sagen, wie wir diese leistungsstarken Werkzeuge abstimmen müssen, damit sie nicht nur klug klingen, sondern tatsächlich klug und zuverlässig sind. Für die Staatsanwaltschaft bedeutet dies, dass Fabi nun helfen kann, die richtigen Gesetze schneller und mit weniger Fehlern zu finden, was das Rechtssystem für alle verbessert.