🤖 AI

A CAP-like Trilemma for Large Language Models: Correctness, Non-bias, and Utility under Semantic Underdetermination

Inspiriert vom CAP-Theorem schlägt diese Arbeit ein Trilemma für Large Language Models vor, wonach unter semantischer Unterbestimmtheit eine gleichzeitige Gewährleistung von starker Korrektheit, strikter Neutralität und hoher Nützlichkeit unmöglich ist, da die Erzielung von Entschlossenheit die Einführung nicht gestützter Präferenzen erfordert, die entweder Neutralität oder Korrektheit beeinträchtigen.

Ursprüngliche Autoren: Vinu Ellampallil Venugopal

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Vinu Ellampallil Venugopal

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Koch in einer belebten Küche. Ein Gast betritt den Raum und sagt: „Machen Sie mir das beste Abendessen, das möglich ist."

Das Papier, nach dem Sie fragen, legt nahe, dass Large Language Models (LLMs) – die intelligenten KI-Chatbots, die wir heute nutzen – bei der Beantwortung solcher Fragen einem dreifachen Tauziehen ausgesetzt sind. Der Autor nennt dies ein „CAP-ähnliches Trilemma", indem er eine Idee aus der Informatik (das CAP-Theorem) entlehnt und auf die Denkweise von KI anwendet.

Hier ist die einfache Aufschlüsselung der drei Dinge, die die KI tun möchte, und warum sie nicht immer alle drei gleichzeitig tun kann:

Die drei Ziele

Richtigkeit: Die Antwort muss logisch wahr sein, basierend ausschließlich auf den Fakten, die der Nutzer gegeben hat.
Keine Verzerrung: Die KI darf nicht heimlich eine Favoritenoption auswählen, es sei denn, der Nutzer hat dies angewiesen.
Nützlichkeit: Die Antwort muss hilfreich, entscheidend und eine klare „Ja"-oder „Nein"-Aussage liefern.

Das Problem: „Das fehlende Rezept"

Die Schwierigkeit entsteht, wenn ein Nutzer eine Frage stellt, bei der die bereitgestellten Fakten nicht auf genau eine einzige Antwort hindeuten. Der Autor nennt dies semantische Unterbestimmtheit.

Stellen Sie es sich so vor: Sie fragen die KI: „Wer sollte das Stipendium gewinnen? Student A hat einen Notendurchschnitt von 9,5, und Student B hat einen Notendurchschnitt von 4,0, braucht aber Geld für Nahrung."

Die KI betrachtet die Fakten:

Fakt 1: A hat eine hohe Note.
Fakt 2: B hat einen großen finanziellen Bedarf.

Die Fakten allein sagen nicht, wer gewinnt. Um einen Gewinner auszuwählen, benötigt die KI eine Regel (ein Rezept).

Wenn die Regel „Höchste Note gewinnt" lautet, gewinnt Student A.
Wenn die Regel „Größter Bedarf gewinnt" lautet, gewinnt Student B.

Aber der Nutzer hat die Regel nicht gegeben. Der Prompt ist „unterbestimmt" (es fehlt ein Teil des Puzzles).

Das Trilemma: Sie können nur zwei haben

Das Papier argumentiert, dass die KI, wenn der Nutzer die Regel nicht angibt, vor einer unmöglichen Wahl steht. Sie kann nur zwei der drei Ziele gleichzeitig erfüllen:

Option 1: Richtig und unvoreingenommen sein (aber unhilfreich)
Die KI sagt: „Ich kann nicht entscheiden. Die Fakten sagen mir nicht, ob Noten oder Geld wichtiger sind. Bitte sagen Sie mir, welche Regel ich verwenden soll."

Richtig? Ja. Sie hat sich keine Regel ausgedacht.
Unvoreingenommen? Ja. Sie hat keine Seite gewählt.
Hilfreich? Nein. Der Nutzer wollte eine Entscheidung, und die KI bat nur um weitere Informationen. Sie weigerte sich, eine klare Antwort zu geben.

Option 2: Hilfreich und unvoreingenommen sein (aber falsch)
Die KI sagt: „Student A ist die beste Wahl, da er einen höheren Notendurchschnitt hat." (Oder vielleicht sagt sie, B sei die beste Wahl).

Hilfreich? Ja. Sie gab eine klare Antwort.
Unvoreingenommen? Nein. Indem sie A auswählte, entschied sie heimlich, dass „Noten" wichtiger sind als „Geld". Sie führte eine Regel ein, die der Nutzer nie gegeben hat.
Richtig? Nein. Basierend ausschließlich auf den bereitgestellten Fakten ist keiner der Studenten objektiv die „richtige" Antwort. Die KI hat sich eine Begründung ausgedacht.

Option 3: Richtig und hilfreich sein (aber voreingenommen)
Die KI sagt: „Student A ist der Gewinner."

Hilfreich? Ja.
Richtig? Nur wenn man annimmt, die Regel sei „Noten sind am wichtigsten". Aber da der Nutzer das nicht gesagt hat, lügt die KI technisch bezüglich der Logik. Sie erzwingt eine Regel auf die Situation.

Reale Beispiele aus dem Papier

Der Autor verwendet einige Szenarien, um zu zeigen, dass dies nicht nur Mathematik betrifft:

Stadtwahl: „Welche Stadt ist besser: Bengaluru, Mumbai oder Delhi?"
- Wenn die KI „Bengaluru" sagt, nimmt sie heimlich an, dass Sie sich für Tech-Jobs interessieren.
- Wenn sie „Mumbai" sagt, nimmt sie an, dass Sie sich für Finanzen oder Unterhaltung interessieren.
- Wenn sie sagt: „Es kommt darauf an", ist sie ehrlich (Richtig/Unvoreingenommen), aber vielleicht ärgerlich (geringe Nützlichkeit).
Unternehmensentscheidungen: „Soll ein Unternehmen sich um Gewinn oder Mitarbeiter kümmern?"
- Um eines auszuwählen, muss die KI die Werte des Unternehmens erraten. Wenn sie „Gewinn" wählt, ist sie zugunsten des Kapitalismus voreingenommen. Wenn sie „Mitarbeiter" wählt, ist sie zugunsten des sozialen Wohls voreingenommen. Wenn sie „Beides" sagt, könnte sie lügen, weil man nicht immer beide gleichzeitig exakt maximieren kann.

Die große Erkenntnis

Das Papier sagt nicht, dass KI kaputt ist oder dass wir aufhören sollten, sie zu nutzen. Stattdessen sagt es:

Manchmal, wenn eine KI sich weigert, eine direkte Antwort zu geben oder ihre Wetten absichert, ist sie nicht faul oder ausweichend. Sie versucht, ehrlich zu sein.

Sie versucht zu vermeiden, sich eine Regel auszudenken, die ihr nicht gegeben wurde. Der Autor schlägt vor, dass wir akzeptieren müssen, dass wir in Situationen, in denen die Fakten vage sind, zwischen einer schnellen Antwort und einer logisch perfekten, unvoreingenommenen Antwort abwägen müssen.

Die beste Lösung, die das Papier bietet, besteht darin, dass die KI transparent ist. Anstatt heimlich eine Regel zu wählen, sollte sie sagen: „Wenn Sie Noten schätzen, wählen Sie A. Wenn Sie den Bedarf schätzen, wählen Sie B. Da Sie es nicht gesagt haben, kann ich nicht für Sie wählen." Dies räumt mit dem fehlenden Puzzleteil auf, anstatt es zu verbergen.

Technisches Fazit: Ein CAP-ähnliches Trilemma für Large Language Models

Problemstellung
Dieser Artikel identifiziert eine strukturelle Spannung bei der Antwortgenerierung von Large Language Models (LLMs), die dem CAP-Theorem in verteilten Systemen analog ist. Während das CAP-Theorem besagt, dass Konsistenz, Verfügbarkeit und Partitionstoleranz während Netzwerkpartitionen nicht gleichzeitig garantiert werden können, argumentiert diese Arbeit, dass LLMs unter semantischer Unterbestimmtheit einer ähnlichen Unmöglichkeit gegenüberstehen.

Ein Prompt ist semantisch unterbestimmt definiert, wenn die verfügbaren Fakten, Annahmen und Prämissen ( $F_x$ ) nicht ausreichen, um logisch eine eindeutige Antwort herzuleiten. In solchen Szenarien fordern Benutzeranfragen (z. B. „Welcher Kandidat sollte ausgewählt werden?" oder „Welche Stadt ist besser?") eine singuläre Entscheidung, doch die Prämissen spezifizieren nicht das Entscheidungskriterium, das diese Wahl rechtfertigt. Der Artikel postuliert, dass ein LLM in diesen Kontexten nicht gleichzeitig drei wünschenswerte Eigenschaften garantieren kann:

Starke Korrektheit ( $C_{strong}$ ): Die Ausgabe wird strikt aus den verfügbaren Prämissen hergeleitet ( $F_x \models y$ ).
Strikte Nicht-Parteilichkeit ( $NB_{strict}$ ): Das Modell bevorzugt keinen Kandidaten vor einem anderen, es sei denn, diese Präferenz wird explizit durch $F_x$ gerechtfertigt. Bias wird hier weit gefasst als jede nicht gestützte Auswahlpräferenz, Priorität oder normative Kriterium.
Entscheidende Nützlichkeit ( $U_{decisive}$ ): Die Antwort liefert eine konkrete, handlungsanleitende Antwort, anstatt abzulehnen, auszuweichen oder um Klärung zu bitten.

Methodik
Der Artikel verwendet einen formalen logischen Rahmen, um dieses Trilemma zu artikulieren, und zieht eine direkte Analogie zur Gilbert-Lynch-Formalisierung des CAP-Theorems.

Formale Definitionen: Die Autoren definieren die Menge der prämissen-kompatiblen Antworten $S_x = \{a \in A \mid a \text{ ist kompatibel mit } F_x\}$ . Ein Prompt ist unterbestimmt, wenn $|S_x| > 1$ .
Logische Formulierung: Die Kernvermutung wird formalisiert als $D(x) \Rightarrow \neg(C_{strong} \land NB_{strict} \land U_{decisive})$ . Dies impliziert, dass, wenn ein Prompt unterbestimmt ist, es unmöglich ist, alle drei Bedingungen gleichzeitig zu erfüllen.
Paarweise Analyse: Der Artikel analysiert die paarweisen Zielkonflikte:
- $C_{strong} \land NB_{strict} \Rightarrow \neg U_{decisive}$ : Um korrekt und unparteiisch zu bleiben, muss das Modell ablehnen oder um Klärung bitten, was die Nützlichkeit reduziert.
- $NB_{strict} \land U_{decisive} \Rightarrow \neg C_{strong}$ : Um nützlich und entscheidend zu sein und gleichzeitig neutral zu bleiben, kann das Modell nicht gestützte Äquivalenzen präsentieren, die die Korrektheit schwächen.
- $C_{strong} \land U_{decisive} \Rightarrow \neg NB_{strict}$ : Um eine korrekte, entscheidende Antwort zu liefern, muss das Modell ein Auswahlkriterium einführen; wenn dieses Kriterium nicht vom Benutzer bereitgestellt wird, fungiert es als nicht gestützte Parteilichkeit.
Fallstudien: Die Methodik wird durch drei Beispiele veranschaulicht:
1. Stipendienauswahl: Auswahl zwischen Studierenden basierend auf GPA und finanziellen Bedürfnissen ohne eine spezifizierte Gewichtsregel.
2. Subjektive Empfehlung: Rangfolge von Städten basierend auf nicht genannten Benutzerprioritäten (z. B. Arbeitsmarkt vs. Sicherheit).
3. Normative Entscheidung: Priorisierung von Gewinn gegenüber dem Wohlergehen der Mitarbeiter ohne definierten ethischen Rahmen.

Hauptbeiträge

Die CAP-ähnliche Vermutung: Der primäre Beitrag ist die Formulierung des „Korrektheits–Nicht-Parteilichkeits–Nützlichkeit-Trilemmas". Dies verlagert den Fokus davon, LLM-Fehler ausschließlich als Modellgrenzen (z. B. Halluzinationen oder Verzerrungen in Trainingsdaten) zu betrachten, hin zur Anerkennung als strukturelle Konsequenzen unterbestimmter Entscheidungsanfragen.
Neudefinition von Bias: Der Artikel erweitert die Definition von Bias über demografische oder soziale Vorurteile hinaus, um „selektionstheoretischen Bias" einzubeziehen. In unterbestimmten Settings stellt jeder Mechanismus, der ohne explizite Benutzerbegründung eine einzelne Antwort aus mehreren gültigen Optionen auswählt, eine Parteilichkeit dar.
Formalisierung der Ablehnung: Die Arbeit fasst Modellablehnungen oder Anfragen nach Klärung nicht als Versagen der Hilfsbereitschaft, sondern als konsistenzbewahrende Strategien neu, analog zu einem verteilten System, das während einer Netzwerkpartition eine Anfrage ablehnt, um Inkonsistenz zu vermeiden.
Vorschlag für eine Designpolitik: Die Autoren schlagen eine praktische Politik $\pi(x)$ $π (x)$ zur Bewältigung dieser Zielkonflikte vor und schlagen vor, dass Modelle:
- Direkt antworten sollten, wenn $|S_x| = 1$ .
- Um Klärung bitten sollten, wenn $|S_x| > 1$ und kein Kriterium bereitgestellt wird.
- Bedingte Antworten geben sollten, wenn mehrere Kriterien plausibel sind.
- Mit angegebenen Annahmen empfehlen sollten, wenn die Nützlichkeit strikt eine Entscheidung erfordert.

Ergebnisse und Behauptungen
Der Artikel stellt keine empirischen experimentellen Ergebnisse vor, sondern bietet einen theoretischen Beweis durch Widerspruch. Er zeigt, dass für jeden unterbestimmten Prompt mit mehreren gültigen Antworten die Erfüllung aller drei Eigenschaften zu einem logischen Widerspruch führt.

Theoretisches Ergebnis: Eine entscheidende Antwort ( $y \in S_x$ ) erfordert die Einführung einer Wertefunktion oder eines Kriteriums $\theta$ . Wenn $\theta$ nicht in $F_x$ enthalten ist, ist die Antwort nicht stark korrekt ( $F_x \not\models y$ ). Wenn $\theta$ verborgen ist, ist die Antwort voreingenommen. Wenn $\theta$ explizit ist, das Modell sich aber weigert zu wählen, wird die Nützlichkeit reduziert.
Implikation für Alignment: Der Artikel argumentiert, dass aktuelle Alignment-Bemühungen, die oft Wahrhaftigkeit, Harmlosigkeit und Hilfsbereitschaft als unabhängig maximierbare Ziele behandeln, in unterbestimmten Kontexten grundlegend fehlerhaft sein können. Eine „nützliche" Antwort erfordert oft eine Präferenz, und eine „neutrale" Antwort erfordert oft eine Ablehnung.

Bedeutung
Der Artikel behauptet, dass das Verständnis dieses Trilemmas für die nächste Generation des LLM-Alignments und der Bereitstellung entscheidend ist.

Neuinterpretation von Fehlern: Er legt nahe, dass viele wahrgenommene Modellfehler strukturell durch die Natur des Prompts induziert werden und nicht durch Inkompetenz des Modells.
Transparenz vor Neutralität: Er argumentiert, dass das Ziel nicht darin bestehen sollte, den Zielkonflikt zu beseitigen, sondern ihn explizit zu machen. Modelle sollten bei unzureichenden Prämissen „bedingte Korrektheit" und „transparente Nicht-Parteilichkeit" (Offenlegung der verwendeten Annahmen) gegenüber „entscheidender Nützlichkeit" priorisieren.
Systemische Auswirkungen: Da Foundation-Modelle in hochriskanten nachgelagerten Aufgaben eingesetzt werden, ist die Erkenntnis, dass eine „ausgewogene" Antwort tatsächlich eine nicht gestützte Gleichheitsbehauptung sein kann, von entscheidender Bedeutung, um die Verbreitung versteckter normativer Rahmenwerke zu verhindern.

Zusammenfassend stellt der Artikel fest, dass Alignmentsstrategien sich weiterentwickeln müssen, um zu untersuchen, wie Korrektheit, Nicht-Parteilichkeit und Nützlichkeit unter semantischer Unterbestimmtheit abgewogen werden, anstatt zu versuchen, sie unabhängig voneinander zu maximieren.