🤖 AI

A Hierarchical Imprecise Probability Approach to Reliability Assessment of Large Language Models

Dieses Paper führt HIP-LLM ein, ein hierarchisches Framework für ungenaue Wahrscheinlichkeiten, das die Zuverlässigkeitsbewertung von Large Language Models verbessert, indem es die Wahrscheinlichkeiten fehlerfreier Operationen über Betriebsprofile und Subdomänen hinweg modelliert und gleichzeitig die epistemische Unsicherheit durch posteriore Zuverlässigkeitsenveloppen explizit quantifiziert.

Ursprüngliche Autoren: Robab Aghazadeh-Chakherlou, Qing Guo, Siddartha Khastgir, Peter Popov, Xiaoge Zhang, Xingyu Zhao

Veröffentlicht 2026-01-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Robab Aghazadeh-Chakherlou, Qing Guo, Siddartha Khastgir, Peter Popov, Xiaoge Zhang, Xingyu Zhao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr talentierten, aber etwas unberechenbaren neuen Assistenten (ein Large Language Model, oder LLM) eingestellt, um Ihnen bei Ihrer Arbeit zu helfen. Sie möchten wissen: „Wie wahrscheinlich ist es, dass dieser Assistent bei den nächsten 10 Aufgaben, die ich ihm gebe, einen Fehler macht?“

Die meisten aktuellen Methoden, um diese Assistenten zu testen, sind wie ein einzelner, statischer Pop-Quiz. Sie bewerten den Quiz, erhalten eine Punktzahl (wie „85 %“) und das war’s. Das Problem ist, dass ein Pop-Quiz Ihnen nicht sagt, wie sie sich in der realen Welt schlagen werden, wo Aufgaben variieren und wo Sie vielleicht verlangen, dass sie 10 Dinge hintereinander ohne Fehler erledigen.

Dieses Paper stellt ein neues Werkzeug namens HIP-LLM vor. Betrachten Sie es als eine „Zuverlässigkeits-Wettervorhersage“ für KI-Assistenten. Anstatt Ihnen nur eine einzige Zahl zu geben, liefert es einen Bereich von Möglichkeiten, der berücksichtigt, was Sie wissen, was Sie nicht wissen und wie Sie das Tool tatsächlich verwenden.

So funktioniert es, unterteilt in einfache Konzepte:

1. Das „Operational Profile“ (Das Menü der Aufgaben)

Stellen Sie sich vor, Sie führen ein Restaurant. Wenn Sie Ihren Koch nur am Kochen von Pizza testen, wissen Sie nicht, ob er auch Sushi zubereiten kann.

Das Problem: Aktuelle Tests schauen oft nur auf eine feste Liste von Fragen (wie ein festes Menü).
Die HIP-LLM-Lösung: Es fragt: „Was kocht der Koch tatsächlich am häufigsten?“ Wenn 80 % Ihrer Bestellungen Pizza und 20 % Sushi sind, sollte die Zuverlässigkeitsbewertung diese Mischung widerspiegeln. HIP-LLM verwendet ein Operational Profile (OP), um die Aufgaben basierend darauf zu gewichten, wie Sie die KI tatsächlich nutzen. Wenn Sie sie hauptsächlich zum Programmieren nutzen, konzentriert sich der Score auf die Zuverlässigkeit beim Programmieren, nicht auf ihre Fähigkeit, Poesie zu schreiben.

2. Der „Stammbaum“ der Fähigkeiten (Hierarchische Struktur)

Stellen Sie sich vor, der Assistent hat verschiedene „Familien“ von Fähigkeiten.

Der Stammbaum: „Programmieren“ ist eine große Familie. Innerhalb dieser Familie haben Sie „Python“ und „C++“. Diese beiden sind Cousins; wenn der Assistent gut in Python ist, ist es wahrscheinlich (aber nicht garantiert), dass er auch in C++ ganz ordentlich ist, da sie eine ähnliche Logik teilen. „Programmieren“ und „Recht“ sind jedoch wie entfernte Verwandte; gut in dem einen zu sein, sagt wenig über das andere aus.
Die HIP-LLM-Lösung: Es erstellt eine hierarchische Karte. Es versteht, dass Fähigkeiten innerhalb einer Kategorie (wie Python und C++) miteinander verbunden sind, aber Fähigkeiten über Kategorien hinweg (wie Programmieren und Recht) unabhängig sind. Dies ermöglicht es dem System, aus einem Bereich zu lernen, um die Zuverlässigkeit eines anderen zu schätzen, was die Vorhersage intelligenter macht.

3. Die „Unscharfe Brille“ (Impräzise Wahrscheinlichkeit)

Stellen Sie sich vor, Sie versuchen, das Gewicht einer Wassermelone zu schätzen.

Der alte Weg: Sie könnten sagen: „Ich schätze, sie wiegt genau 10 Pfund.“ (Dies ist eine einzelne, präzise Schätzung).
Der HIP-LLM-Weg: Sie merken, dass Sie keine Waage haben, und sagen: „Ich bin mir ziemlich sicher, dass sie zwischen 8 und 12 Pfund wiegt, aber ich bin mir nicht zu 100 % sicher.“
Das Konzept: Dies wird als Impräzise Wahrscheinlichkeit bezeichnet. Anstatt eine einzige, präzise „beste Schätzung“ darüber abzugeben, wie gut die KI ist (was irreführend sein kann), gibt HIP-LLM die Unsicherheit zu. Es erzeugt einen Bereich (oder eine Hülle) möglicher Zuverlässigkeitswerte. Dieser Bereich wird enger, je mehr Daten Sie erhalten, aber er erkennt immer an, dass Ihre anfänglichen Annahmen (Priors) leicht daneben liegen könnten.

4. Die Zukunft vorhersagen (Nicht nur die Vergangenheit)

Die meisten Tests sagen Ihnen: „Der Assistent hat heute 8 von 10 Aufgaben richtig gelöst.“

Die HIP-LLM-Lösung: Es beantwortet die Frage: „Wie hoch ist die Wahrscheinlichkeit, dass der Assistent die nächsten 50 Aufgaben hintereinander richtig erledigt?“
Die Analogie: Es ist der Unterschied zwischen der Aussage: „Ich bin gestern sicher gefahren“, und „Ich habe eine 95-prozentige Chance, die nächsten 100 Meilen sicher zu fahren“. Dies ist entscheidend für Hochrisikosituationen, in denen ein einzelner Fehler entscheidend ist.

5. Warum das wichtig ist (Die „Lückenfüller“)

Die Autoren argumentieren, dass aktuelle Methoden fünf große Lücken aufweisen:

Statisch vs. Dynamisch: Tests sind statische Quizzes; das echte Leben ist ein dynamischer Fluss von Aufgaben. HIP-LLM bewältigt diesen Fluss.
Isoliert vs. Verbunden: Tests behandeln jede Aufgabe als unzusammenhängend. HIP-LLM weiß, dass Fähigkeiten verwandt sind (wie der Stammbaum).
Beschreibung vs. Vorhersage: Tests beschreiben die Vergangenheit; HIP-LLM sagt die Zukunft voraus.
Fehler vs. Erfolg: Tests zählen oft nur Fehler. HIP-LLM berechnet die Wahrscheinlichkeit einer langen Serie von Erfolgen.
Unwissenheit vs. Wissen: Tests ignorieren oft, was Experten bereits wissen. HIP-LLM lässt Experten sagen: „Ich denke, sie ist gut in Mathe“, und integriert dies in die mathematische Berechnung.

Das Fazente

HIP-LLM ist ein hochentwickelter Rechner, der Testergebnisse nimmt, sie mit der Art und Weise mischt, wie Sie die KI tatsächlich nutzen, und berücksichtigt, was Sie bereits wissen (und was Sie nicht wissen). Anstatt Ihnen eine einzige, potenziell irreführende Note zu geben, liefert es eine Konfidenzhülle: „Basierend auf dem, was wir wissen, besteht eine 90-prozentige Chance, dass diese KI Ihre nächsten 20 Aufgaben erfolgreich bewältigt, sofern Sie sie hauptsächlich für [Ihre spezifische Aufgabe] verwenden.“

Es verwandelt eine einfache „Punktzahl“ in einen risikobewussten Zuverlässigkeitsbericht, der Ihnen hilft zu entscheiden, ob eine KI sicher genug für Ihre spezifischen Anforderungen ist.

Technisches Resümee: Ein hierarchischer Ansatz mit unpräziser Wahrscheinlichkeit zur Zuverlässigkeitsbewertung von Large Language Models

1. Problemstellung

Die Arbeit adressiert den Mangel an rigorosen, standardisierten Methoden zur Zuverlässigkeitsbewertung von Large Language Models (LLMs). Während LLMs zunehmend in sicherheitskritischen und hochsensiblen Bereichen eingesetzt werden, verlassen sich aktuelle Evaluierungspraktiken stark auf benchmark-basierte deskriptive Statistiken (z. B. Punkt-Schätzer für Genauigkeitswerte). Die Autoren identifizieren fünf kritische Forschungslücken in der bestehenden Literatur:

Statisch vs. Dynamisch: Benchmarks verwenden feste Datensätze, die die dynamische Natur realer Nutzerverhaltensweisen und Operationsprofile (OPs) nicht erfassen können.
Unabhängigkeit vs. Hierarchie: Bestehende Benchmarks behandeln Aufgaben oft isoliert oder mitteln diese, wobei sie die hierarchischen Abhängigkeiten zwischen Subdomänen (z. B. Python vs. C++ Codierung) und die Unabhängigkeit von High-Level-Domänen (z. B. Codierung vs. Recht) ignorieren.
Beschreibung vs. Inferenz: Aktuelle Methoden berichten deskriptive Statistiken, anstatt statistische Inferenz durchzuführen, um die Unsicherheit über die zukünftige Leistung über eine Population von Eingaben zu quantifizieren.
Ausfallwahrscheinlichkeit vs. Zukünftige Zuverlässigkeit: Vorangegangene Arbeiten konzentrierten sich auf die Wahrscheinlichkeit des Ausfalls für eine einzelne Aufgabe und vernachlässigten die breitere, standardisierte Definition von Zuverlässigkeit: die Wahrscheinlichkeit eines fehlerfreien Betriebs über eine spezifizierte Anzahl zukünftiger Aufgaben.
Nicht-informative vs. Informative Priors: Bestehende Bayessche Ansätze verwenden oft nicht-informative Priors und versäumen es, wertvolles (wenn auch potenziell vages) Vorwissen von Domänenexperten einzubeziehen.

Das Kernproblem besteht darin, ein Framework zu entwickeln, das die Zuverlässigkeit eines LLM als eine probabilistische Größe modelliert, die von einem Operationsprofil abhängt, hierarchische Aufgabenabhängigkeiten berücksichtigt und die Unsicherheit quantifiziert, die sowohl aus Daten als auch aus dem Vorwissen resultiert.

2. Methodik: HIP-LLM

Die Autoren schlagen HIP-LLM (Hierarchical Imprecise Probability for Large Language Models) vor, ein Framework, das auf Software-Zuverlässigkeitsprüfung und robuster Bayesscher Analyse basiert.

2.1. Formale Definition der Zuverlässigkeit

In Anlehnung an die ANSI-Definition der Softwarezuverlässigkeit definiert HIP-LLM die LLM-Zuverlässigkeit ( $R$ ) als die Wahrscheinlichkeit eines fehlerfreien Betriebs über eine spezifizierte Anzahl zukünftiger Aufgaben ( $n$ ) unter einem gegebenen Operationsprofil ( $\pi$ ).

Operationsprofil (OP): Eine Wahrscheinlichkeitsverteilung über den Eingaberaum (Aufgabentypen), welche die realen Nutzungshäufigkeiten widerspiegelt.
i.i.d.-Annahme: Das Framework nimmt an, dass Aufgaben unabhängige und identisch verteilte (i.i.d.) Bernoulli-Versuche sind. Dies entspricht „Reset“-Szenarien (z. B. neue Chat-Sessions ohne Kontextgedächtnis), wie sie im Offline-Benchmarking üblich sind, und unterscheidet sich damit von agentischen Workflows mit Langzeitgedächtnis.

2.2. Hierarchische Struktur

Das Modell strukturiert den Fähigkeitsraum des LLM in einer Hierarchie:

Unabhängige Domänen: High-Level-Domänen (z. B. Codierung, logisches Denken) werden als statistisch unabhängig behandelt.
Abhängige Subdomänen: Innerhalb einer Domäne werden Subdomänen (z. B. Python-Codierung, Data Science Codierung) als abhängig modelliert und teilen latente Kompetenzen.
Teilweises Pooling (Partial Pooling): Informationen fließen von Subdomänen zu Domänen und auf das Systemniveau aufwärts. Subdomänen mit spärlichen Daten profitieren vom Wissen verwandter Subdomänen innerhalb derselben Domäne.

2.3. Unpräzise Wahrscheinlichkeit für epistemische Unsicherheit

Um der Schwierigkeit der Auswahl eines einzelnen präzisen Priors (der epistemische Unsicherheit kodiert) zu begegnen, verwendet HIP-LLM unpräzise Wahrscheinlichkeit (Imprecise Probability).

Anstatt Hyperparameter (z. B. $\alpha, \beta$ für Beta-Priors) auf Punktwerte festzulegen, spezifiziert das Framework diese als Intervalle (Credal Sets).
Dies führt zu Posterior-Envelopes (unteren und oberen Schranken) für Zuverlässigkeitsmetriken anstelle einzelner Posterior-Verteilungen.
Dieser Ansatz erfasst die Unsicherheit über das Vorwissen selbst und liefert einen Bereich plausibler Zuverlässigkeitsschätzungen, die konsistent mit den Daten und den vagen Überzeugungen des Assessors sind.

2.4. Mathematische Formulierung

Die Inferenz erfolgt hierarchisch:

Subdomänen-Ebene: Beobachtete Erfolge ( $C_{ij}$ ) und Versuche ( $N_{ij}$ ) aktualisieren die Subdomänen-Zuverlässigkeiten ( $\theta_{ij}$ ) mittels einer Binomial-Likelihood und eines Beta-Priors, der durch Domänen-Hyperparameter ( $\mu_i, \nu_i$ ) parametrisiert ist.
Domänen-Ebene: Die Subdomänen-Zuverlässigkeiten werden unter Verwendung von OP-Gewichten ( $\Omega_{ij}$ ) aggregiert, um die Domänen-Zuverlässigkeit ( $p_i$ ) zu bilden.
System-Ebene: Die Domänen-Zuverlässigkeiten werden unter Verwendung von Domänen-OP-Gewichten ( $W_i$ ) aggregiert, um die gesamte LLM-Zuverlässigkeit ( $p_L$ ) zu bilden.
Zukünftige Zuverlässigkeit: Das Framework leitet die Wahrscheinlichkeit von $n_F$ aufeinanderfolgenden fehlerfreien Durchläufen ( $R(n_F)$ ) ab, indem die Nicht-Fehler-Wahrscheinlichkeit zur Potenz $n_F$ erhoben wird.

Die Theoreme 1–6 liefern die mathematische Ableitung der Posterior-Verteilungen (oder CDF-Envelopes) auf jeder Ebene und behandeln die Unhandlichkeit gewichteter Summen abhängiger Beta-Variablen mittels numerischer Integration und Monte-Carlo-Sampling.

3. Zentrale Beiträge

Formale Definition: Die Arbeit definiert die LLM-Zuverlässigkeit formal gemäß etablierter Standards der Softwarezuverlässigkeit und unterscheidet diese von Sicherheit (Safety), Sicherheit (Security) und Genauigkeit (Accuracy).
HIP-LLM Framework: Es führt ein hierarchisches Modell der unpräzisen Wahrscheinlichkeit ein, das gleichzeitig folgende Punkte adressiert:
- Explizite Modellierung von Operationsprofilen (OPs).
- Hierarchische Abhängigkeiten zwischen Subdomänen und Unabhängigkeit zwischen Domänen.
- Fundierte Quantifizierung der Unsicherheit (sowohl aleatorisch als auch epistemisch) via Posterior-Envelopes.
- Einbindung von informativen (unpräzisen) Vorwissen.
Öffentliches Repository: Die Autoren stellen ein öffentliches Repository mit experimentellen Daten, Quellcode und Modellen bereit.

4. Experimentelle Ergebnisse

Die Autoren evaluierten HIP-LLM auf vier Benchmark-Datensätzen (MBPP, DS-1000, BoolQ, RACE-H) über vier LLMs (GPT-4o, GPT-4o-mini, Claude Sonnet 4.5, Claude Haiku 3.5).

Effektivität (RQ1): HIP-LLM generierte erfolgreich Posterior-CDF-Envelopes auf Subdomänen-, Domänen- und Systemebene. Es deckte nuancierte Unterschiede zwischen Modellen auf, die durch Punkt-Schätzer in Benchmarks verborgen blieben (z. B. die Unterscheidung zwischen Modellen mit ähnlichen mittleren Genauigkeiten, aber unterschiedlichen Unsicherheitsprofilen).
Sensitivität gegenüber Hyperparametern (RQ2): Die Analyse zeigte, dass Hyperparameter, die die Erwartungswerte des Priors ( $a, b$ ) steuern, die Lage der Zuverlässigkeits-Envelope verschieben, während jene, die Konfidenz/Pooling-Stärke ( $c, d$ ) steuern, primär die Breite (Unsicherheit) der Envelope beeinflussen.
Sensitivität gegenüber OPs (RQ3): Das Framework demonstrierte, dass Zuverlässigkeitsschätzungen sensitiv gegenüber Variationen der OPs sind, insbesondere bei Modellen mit ungleichmäßiger Performance über Subdomänen hinweg (z. B. variierte die Reasoning-Performance von GPT-4o zwischen BoolQ und RACE-H signifikant, was zu hoher Sensitivität gegenüber dem Task-Mix führte).
Vorhersagbarkeit (RQ4): Das Modell sagte erfolgreich den Abfall der Zuverlässigkeit voraus, wenn die Anzahl der erforderlichen zukünftigen fehlerfreien Aufgaben ( $n_F$ ) zunahm, und bot somit ein Werkzeug für die risikobewusste Entscheidungsfindung basierend auf operativen Horizonten.
Vergleich zu Baselines (RQ5): In synthetischen Experimenten mit bekanntem Ground Truth produzierte HIP-LLM robuste Schranken. In datenarmen Regimen lieferte es weitere, konservativere Intervalle, die das Prior-Unsicherheit widerspiegelten, während es in datendominierten Regimenen diese Intervalle auf die frequentistischen Schätzungen reduzierte.
Robustheit (RQ6, RQ7): Das Framework zeigte eine moderate Sensitivität gegenüber alternativen Erfolgsdefinitionen (Pass@1 vs. Pass@3) und blieb unter simulierten, durch Gedächtnis induzierten Abhängigkeiten stabil; Abhängigkeiten verursachten primär kontrollierte Verschiebungen der Envelopes statt qualitativer Änderungen.
Skalierbarkeit (RQ8): Die Rechenkosten wurden durch die Inferenz auf Subdomänen-Ebene dominiert und skalierten linear mit der Anzahl der Domänen und Hyperparameter-Konfigurationen.

5. Bedeutung und Ansprüche

Die Arbeit behauptet, dass HIP-LLM eine nuanciertere und standardisiertere Zuverlässigkeitscharakterisierung bietet als bestehende Benchmark-basierte oder State-of-the-Art-Ansätze. Die Bedeutung liegt in:

Paradigmenwechsel: Der Übergung von deskriptiven Benchmark-Scores hin zur statistischen Inferenz über die zukünftige operative Zuverlässigkeit.
Nutzerzentrierung: Die explizite Einbeziehung des Operationsprofils, was anerkennt, dass Zuverlässigkeit kontextabhängig ist.
Umgang mit Unsicherheit: Bereitstellung eines Mechanismus zur Einbettung und Propagation epistemischer Unsicherheit (vages Vorwissen) durch die Bewertung, was zu „Envelopes“ anstelle von übermäßig selbstbewussten Punkt-Schätzungen führt.
Entscheidungsunterstützung: Ermöglichung von Stakeholdern, fundierte Entscheidungen (z. B. Modellwahl, Risikobewertung) basierend auf der Wahrscheinlichkeit fehlerfreier Durchläufe über spezifische zukünftige operative Horizonte zu treffen.

Die Autoren wahren eine bescheidene Haltung und merken an, dass das Framework „Reset“-Szenarien (i.i.d.) annimmt und dass die genaue Definition von „Fehler“ sowie die Schätzung realer OPs weiterhin offene Herausforderungen darstellen, die zukünftige Arbeit erfordern. Sie positionieren HIP-LLM als einen grundlegenden Schritt hin zu einer prinzipienbasierten Zuverlässigkeitsbewertung für generative KI.