🤖 AI

LLM-FACETS: A Privacy-Preserving Framework for Evaluating LLM Transparency and Accountability

LLM-FACETS ist ein Open-Source-, datenschutzwahrendes Framework, das darauf ausgelegt ist, die Transparenz und Rechenschaftspflicht von LLMs für nicht-technische Anwender zugänglich zu machen, indem es eine selbst gehostete, browserbasierte Schnittstelle bereitstellt, die Datenflüsse explizit verwaltet, verschiedene Stakeholder-Rollen unterstützt und die Evaluierung durch anpassbare Metriken zur Erkennung von Faktizität, Unsicherheit und Halluzinationen operationalisiert.

Ursprüngliche Autoren: Tom Lucas, Alessio Buscemi, Alfredo Capozucca, German Castignani, Barbara Delacroix

Veröffentlicht 2026-06-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tom Lucas, Alessio Buscemi, Alfredo Capozucca, German Castignani, Barbara Delacroix

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten, belesenen Roboter (ein Large Language Model oder LLM), der Berichte schreibt, medizinische Fragen beantwortet oder juristische Dokumente zusammenfasst. Sie möchten wissen: Sagt er die Wahrheit? Ist er sich seiner Antworten sicher? Und können wir der Person vertrauen, die seine Arbeit bewertet?

Derzeit gleicht die Überprüfung der Arbeit des Roboters dem Versuch, einen hochmodernen Automotor zu inspizieren, während man eine Augenbinde trägt und einen Schraubenschlüssel hält, dessen Funktion man nicht kennt. Nur die Mechaniker (Programmierer) können dies tun, und sie müssen die Motorteile oft in eine entfernte Fabrik (die Cloud) schicken, um sie prüfen zu lassen, was Bedenken hinsichtlich des Datenschutzes aufwirft.

LLM-FACETS ist ein neues Open-Source-Toolkit, das genau dies beheben soll. Betrachten Sie es als ein „Smart Dashboard“, das direkt in Ihrem Webbrowser sitzt und es jedem ermöglicht – egal ob Sie Arzt, Anwalt oder Compliance-Beauftragter sind –, die Arbeit des Roboters zu überprüfen, ohne Code schreiben oder Ihre geheimen Daten Fremden überlassen zu müssen.

So funktioniert es, unterteilt in einfache Konzepte:

1. Die drei Arten von Inspektoren

Das Paper erkennt, dass verschiedene Menschen aus unterschiedlichen Gründen den Roboter überprüfen müssen. LLM-FACETS organisiert seine Werkzeuge für drei spezifische „Inspektoren“:

Der Mechaniker (Technischer Experte): Er muss das Innenleben des Motors sehen. Er betrachtet „Log-Wahrscheinlichkeiten“ (eine schicke Art zu sehen, wie sicher sich der Roboter bei jedem einzelnen Wort ist, das er tippt). Wenn der Roboter nur „rät“, wird das Dashboard dieses Wort rot färben.
Der Experte (Fachspezifischer Experte): Er muss wissen, ob die Fakten korrekt sind. Wenn der Roboter ein medizinischer Assistent ist, prüft dieser Inspektor, ob die Ratschläge tatsächlich aus den ihm zur Verfügung gestellten medizinischen Büchern stammen oder ob der Roboter Dinge erfindet (halluziniert).
Der Generalinspektor (Compliance-Beauftragter): Er benötigt Beweise für das Gesetz. Er braucht einen sauberen, druckbaren Bericht, der besagt: „Wir haben dies geprüft, und es entspricht den Regeln.“ Er muss nicht wissen, wie der Roboter denkt, sondern nur, dass er ordnungsgemäß überprüft wurde.

2. Der „Bring Your Own Key“ (BYOK) Datenschutzschild

Eines der größten Probleme bei der Überprüfung von KI ist, dass viele Tools Ihre privaten Daten (wie Patientenakten oder Geschäftsgeheimnisse) an einen Server eines Drittanbieters senden, um sie bewerten zu lassen. Das ist so, als würde man sein Tagebuch einem Fremden schicken, damit dieser es lektiert.

LLM-FACES löst dies mit einem „Bring Your Own Key“-System:

Die Lockbox: Ihre geheimen Schlüssel (Passwörter zu den KI-Diensten) werden nur in Ihrem eigenen Browser gespeichert, wie eine Lockbox in Ihrer Tasche. Das Tool sieht diese Schlüssel niemals.
Die lokale Werkstatt: Für einfache Prüfungen (wie das Zählen von Wortüberschneidungen) führt das Tool die Berechnungen vollständig auf Ihrem eigenen Computer oder Ihrem eigenen privaten Server durch. Keine Daten verlassen Ihr Gebäude.
Der transparente Kurier: Wenn das Tool Daten an eine externe KI senden muss, um eine komplexe Bewertung zu erhalten, agiert es wie ein transparenter Kurier. Es übergibt die Daten unter Verwendung Ihres Schlüssels, erhält die Antwort und vergisst sofort alles wieder. Es speichert weder Ihre Daten noch Ihre Schlüssel.

3. Das „Jury“-System (Vermeidung voreingenommener Bewerter)

Manchmal ist ein KI-Bewertungssystem voreingenommen. Zum Beispiel könnte es längere Antworten gegenüber kurzen bevorzugen oder Antworten mögen, die denen des Systems selbst ähneln.
LLM-FACETS nutzt einen „Jury“-Ansatz. Anstatt nur eine einzige KI zu fragen, die Arbeit zu bewerten, bittet es drei verschiedene KIs (von unterschiedlichen Unternehmen), dieselbe Antwort unabhängig voneinander zu bewerten.

Wenn alle drei zustimmen, ist die Bewertung solide.
Wenn sie stark voneinander abweichen, markiert das System dies als „umstritten“ und sagt Ihnen: „Hey, die Richter sind sich hier uneinig; schauen Sie genauer hin.“ Dies verhindert, dass ein voreingenommener Bewerter einen falschen Bericht erstellt.

4. Die „RAG-Triade“ (Das Faktencheck-Trio)

Wenn der Roboter dazu bestimmt ist, Fragen basierend auf spezifischen Dokumenten zu beantworten (ein System namens RAG), nutzt LLM-FACETS einen dreiteiligen Faktencheck:

Faithfulness (Treue): Hat der Roboter Fakten erfunden, die nicht in den Dokumenten stehen?
Answer Relevance (Antwortrelevanz): Hat der Robbot tatsächlich die gestellte Frage beantwortet, oder ist er vom Thema abgekommen?
Context Relevance (Kontextrelevanz): Hat der Roboter die richtigen Dokumente verwendet, um zu beginnen, oder hat er irrelevante Informationen herangezogen?

5. Warum das wichtig ist (Die „Plugin“-Magie)

Stellen Sie sich vor, jedes Mal, wenn eine neue Methode zur Prüfung eines Autos erfunden wird, müssten Sie eine komplett neue Garage kaufen. LLM-FACETS ist aufgebaut wie ein Lego-Set.

Wenn Forscher in Zukunft eine neue Methode entwickeln, um Bias oder Halluzinationen zu prüfen, können sie dieses neue Werkzeug einfach in das System „einstecken“.
Das Dashboard, die Berichte und die Datenschutzeinstellungen aktualisieren sich automatisch, um das neue Werkzeug einzubeziehen. Sie müssen nicht das gesamte System neu aufbauen.

Zusammenfassung

LLM-FACETS ist ein datenschutzfreundliches, einfach zu bedienendes Dashboard, das Nicht-Programmierern ermöglicht zu überprüfen, ob eine KI die Wahrheit sagt. Es hält Ihre Daten privat, nutzt eine „Jury“ aus KIs, um Voreingenommenheit zu vermeiden, und liefert klare, farbcodierte Berichte für verschiedene Arten von Experten. Es verwandelt den komplexen Black-Box-Prozess der KI-Auditierung in etwas so Einfaches wie den Blick auf das Dashboard Ihres Autos.

Technisches Resümee: LLM-FACETS

Problemstellung

Die Auditierung von Large Language Models (LLMs), um sicherzustellen, dass Ausgaben faktisch fundiert, epistemisch kalibriert und methodisch reproduzierbar sind, ist eine Voraussetzung für den verantwortungsvollen Einsatz von KI. Derzeitige Evaluierungspraktiken bleiben jedoch für nicht-technische Praktiker (Fachexperten und Compliance-Beauftragte), die die rechtliche und ethische Verantwortung für die KI-Aufsicht tragen, unzugänglich. Bestehende Werkzeuge weisen drei primäre Barrieren auf:

Technische Komplexität: Programmatische Bibliotheken (z. B. DeepEval, Ragas) erfordern Programmierkenntnisse, Konfiguration der Umgebung und Dependency-Management.
Risiken für die Datensouveränität: In der Cloud gehostete Plattformen (z. B. LangSmith, Arize Phoenix) übertragen Evaluationsdaten an externe Dienste, was zu Konflikten mit Regulierungen wie der DSGVO und dem EU AI Act hinsichtlich der Verarbeitung personenbezogener Daten führt.
Fragmentierte Transparenz: Bestehende Werkzeuge lassen oft systematische methodische Ansätze zur multidimensionalen Evaluierung vermissen und versäumen es, die unterschiedlichen Transparenzbedürfnisse verschiedener Stakeholder-Rollen zu adressieren.

Darüber hinaus steht das Feld vor einer Reproduzierabilitätskrise aufgrund inkonsistenter Metrik-Implementierungen und eines Mangels an standardisierten, kreuzvalidierten Baselines.

Methodik

Das Paper stellt LLM-FACETS (LLM FActuality Cross-EvaluaTion System) vor, ein Open-Source-Framework, das darauf ausgelegt ist, Transparenz durch einen strukturierten Workflow und eine datenschutzfreundliche Architektur zu operationalisieren.

1. Praktiker-zentriertes Framework

Das Framework ist um drei Praktiker-Profile strukturiert, welche spezifische Verantwortlichkeitsrollen auf Transparenzziele abbilden:

Technische Experten: Fokus auf epistemische und faktische Transparenz (Diagnose der Ursprünge von Halluzinationen via Log-Wahrscheinlichkeiten und RAG-Triade-Metriken).
Fachexperten: Fokus auf faktische und prozessuale Transparenz (Bewertung der Zuverlässigkeit innerhalb einer Domäne via Faithfulness-Scores und Multi-Judge-Konsens).
Compliance-Beauftragte: Fokus auf prozessuale Transparenz (regulatorische Zertifizierung via Batch-Level-Audits und exportierbaren JSON/CSV-Spuren).

2. Architektur und Datenschutzmodell

LLM-FACETS ist eine Next.js-Applikation, die aus einem Browser-Client und einem selbst gehosteten, zustandslosen Serverprozess besteht. Sie erzwingt Datensouveränität durch:

Bring Your Own Key (BYOK): API-Schlüssel werden ausschließlich im Browser des Nutzers (IndexedDB) gespeichert und nur für die Dauer einer einzelnen Anfrage übertragen. Sie werden niemals auf dem Server persistiert.
In-Process-Berechnung: Deterministische Metriken (BLEU, ROUGE, METEOR, BERTScore) laufen vollständig innerhalb des selbst gehosteten Servers unter Verwendung von Transformers.js und DuckDB für Dataset-Abfragen. Keine Evaluationsdaten verlassen die Infrastruktur des Praktikers für diese Aufgaben.
Datenschutzfreundliche Anonymisierung: Eine konfigurierbare Pipeline anonymisiert personenbezogene Daten (PII) mittels Regex, lokalem NER (compromise.js) oder einem selbst gehosteten Presidio, bevor jeglicher Text an externe LLM-APIs gesendet wird.

3. Evaluations-Workflow

Das Framework erzwingt einen fünfstufigen Workflow (Algorithmus 1):

Transparenzziel definieren: Dimension auswählen (epistemisch, faktisch oder prozessual).
Metriken auswählen: Mindestens zwei Metriken wählen, die auf dieselbe Eigenschaft abzielen, um eine Kreuzprüfung zu ermöglichen.
Dataset laden: Integrierte Benchmarks (SQuAD v2, HaluEval) verwenden oder proprietäre Daten hochladen.
Ergebnisse kreuzprüfen: Inter-Metrik-Korrelation (Pearson-Korrelation) analysieren, um Divergenzen zu erkennen.
Evidenz paketieren: Strukturierte Artefakte exportieren, die Scores, Konfigurationen und Reasoning-Chains enthalten.

4. Implementierte Metriken

Das Framework operationalisiert vier Dimensionen der Transparenz:

Baseline Grounding: Deterministische Metriken (BLEU, ROUGE, METEOR, BERTScore), die gegen kanonische Python-Bibliotheken kreuzvalidiert wurden.
Epistemische Transparenz: Visualisierung der Token-Level Log-Wahrscheinlichkeiten zur Bewertung von Modellkonfidenz und Unsicherheit.
Faktische Transparenz: Die RAG-Triade (Faithfulness, Answer Relevance, Context Relevance), um Ausgaben auf die abgerufenen Quellen zurückzuführen.
Prozessuale Transparenz: Multi-Judge-Konsens (Jury-Modul) und Evaluations-Topologien, um Position Bias zu mildern und die Evaluator-Varianz zu quantifizieren.

Zentrale Beiträge

Methodischer Rahmen: Ein strukturierter Ansatz, der Transparenzziele mit konkreten Evaluationspraktiken verbindet, maßgeschneidert auf drei distinkte Praktiker-Profile gemäß dem EU AI Act und dem NIST AI Risk Management Framework.
Einheitliche Tooling-Lösung: Eine browserbasierte Schnittstelle, die keine Programmierkenntnisse erfordert und Transparenz-Auditierungsmechanismen (Log-Wahrscheinlichkeits-Visualisierung, RAG-Triade, Multi-Judge-Konsens) in einer einzigen Plattform bereitstellt.
Open-Source-Implementierung: Ein TypeScript-basiertes Framework mit 18 Metrik-Varianten, die gegen Python-Referenzbibliotheken kreuzvalidiert wurden. Es verfügt über eine Plugin-Architektur, bei der das Hinzufügen neuer Metriken oder Datasets automatisch die Navigation, das Dashboard und die API aktualisiert, ohne den Kern-Pipeline zu modifizieren.
Garantien der Datensouveränität: Ein architektonisches Design, das die lokale deterministische Berechnung explizit von externen LLM-Aufrufen trennt und so die Einhaltung der DSGVO und datenschutzrechtlicher Vorschriften gewährleistet.

Ergebnisse und Validierung

Kreuzvalidierung: Die Implementierungen der deterministischen Metriken (BLEU, ROUGE, METEOR, BERTScore) wurden gegen 267 Validierungsfälle unter Verwendung kanonischer Python-Bibliotheken (NLTK, Hugging Face evaluate) getestet. Die Ergebnisse zeigten einen absoluten Fehler unter $10^{-5}$ , was die numerische Reproduzierbarkeit bestätigt.
Stabilität: Wiederholte Durchläufe ( $n=5$ ) mit gpt-4o-mini für LLM-basierte Metriken (RAG-Triade, G-Eval, Jury) zeigten eine Standardabweichung ( $\sigma$ ) von weniger als 0,05, was auf eine ausreichende Score-Stabilität für den Produktionseinsatz hindeutet.
Performance: Die Verarbeitung von 13.369 Samples (einschließlich Textgenerierung und traditioneller Metriken) auf einem Hochleistungsserver dauerte 24,7 Sekunden. Die In-Process-Metrik-Berechnungsengine führte traditionelle Metriken in 6,7 Sekunden aus (0,5 ms/Sample/Metrik), was eine hohe Effizienz demonstriert.
Anwendungsfälle: Das Paper illustriert drei Szenarien (Entwickler-Debugging, Compliance-Officer-Auditierung, Fachexperten-Validierung), die zeigen, wie das Framework es verschiedenen Rollen ermöglicht, ihre spezifischen Aufsichtsaufgaben ohne Programmierung oder Abhängigkeit von externen Datenverarbeitern wahrzunehmen.

Bedeutung und Ansprüche

Das Paper behauptet, dass LLM-FACETS eine kritische Lücke im KI-Ökosystem schließt, indem es die Rechenschaftspflicht für KI von den Teams entkoppelt, die die Systeme bauen. Durch die Bereitstellung eines Werkzeugs, das sowohl für nicht-technische Praktiker zugänglich als auch rigoros genug für die wissenschaftliche Verifizierung ist, zielt es darauf ab:

Aufsicht zu demokratisieren: Es ermöglicht Fachexperten und Compliance-Beauftragten, KI-Systeme unabhängig zu evaluieren und erfüllt damit die funktionalen Anforderungen des EU AI Act (Artikel 14) und der DSGVO.
Reproduzierbarkeit zu gewährleisten: Es schafft eine Grundlage für Open Science, indem es kreuzvalidierte, transparente Implementierungen von Evaluationsmetriken bereitstellt und so der „Black Box“-Natur proprietärer Evaluations-APIs entgegenwirkt.
Zukunftssichere Governance: Durch seine Plugin-Architektur ist das Framework darauf ausgelegt, sich mit dem Feld weiterzuentwickeln, sodass neue Metriken und Datensätze ohne architektonische Überarbeitung integriert werden können, was die langfristige regulatorische Compliance unterstützt.

Die Autoren räumen Einschränkungen ein, darunter die inhärenten Biases von LLM-as-a-Judge-Methoden, der Mangel an formalen Nutzerstudien mit Stakeholdern und die derzeitige Abhängigkeit von Providern, die Log-Wahrscheinlichkeiten offenlegen. Sie positionieren LLM-FACETS als praktischen Schritt hin zu einem kollaborativen, Multi-Stakeholder-Evaluierungs-Ökosystem und nicht als endgültige Lösung für alle Herausforderungen der KI-Transparenz.