💻 computer science

When Specifications Conflict: A Symmetry-Based Framework for Measuring LLM Preferences

Dieses Paper führt ein symmetriebasiertes experimentelles Framework ein, um systematisch zu messen, wie Large Language Models Konflikte zwischen konkurrierenden Spezifikationen auflösen, wobei es eine konsistente Präferenzhierarchie offenlegt, in der formale und naturalisierte formale Sprachen gegenüber reiner natürlicher Sprache und Input-Output-Beispielen über diverse Domänen hinweg bevorzugt werden.

Ursprüngliche Autoren: Tairan Wang, Liang Zhou, Zikang Zhan, Pingchuan Yan

Veröffentlicht 2026-07-31

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tairan Wang, Liang Zhou, Zikang Zhan, Pingchuan Yan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bitten einen sehr klugen, sehr belesenen Freund um Hilfe bei einem kniffligen Rätsel. Aber hier ist der Haken: Ihr Freund hat zwei verschiedene Bedienungsanleitungen für dasselbe Rätsel erhalten. Eine sagt: „Drehen Sie den roten Knopf nach links“, während die andere darauf besteht: „Drehen Sie den roten Knopf nach rechts.“ In der Welt der Künstlichen Intelligenz sind diese „Freunde“ Large Language Models (LLMs) – riesige Computerprogramme, die mit fast allem trainiert wurden, was im Internet steht. Sie sind erstaunlich gut darin, Geschichten zu schreiben, mathematische Probleme zu lösen und Code zu schreiben, aber sie werden oft verwirrt, wenn die Informationen, die sie erhalten, chaotisch oder widersprüchlich sind.

Dieses Paper taucht in eine spezifische Nische der KI-Wissenschaft ein: die Konfliktlösung (Conflict Resolution). Es stellt eine einfache, aber tiefgreifende Frage: Wenn eine KI zwei widersprüchliche Anweisungen erhält, welcher folgt sie dann tatsächlich? Bevorzugt sie eine strikte, mathematische Formel? Einen lockeren Satz in einfachem Englisch? Eine Liste von Beispielen? Oder ein formales Code-Fragment? Das Verständnis dessen ist entscheidend, da wir damit beginnen, KI für wichtige Aufgaben einzusetzen – wie das Schreiben von Computercode, die Diagnose medizinischer Probleme oder das Treffen rechtlicher Entscheidungen – und wir wissen müssen, ob die KI den „harten Regeln“ folgt oder nur rät, wie die Wörter klingen. Wenn wir nicht wissen, welcher Anweisung die KI Vorrang gibt, können wir ihren Antworten nicht vertrauen.

Der große Anweisungs-Showdown

Die Forscher am University College London beschlossen, dieses Problem wie ein Experiment auf einem Wissenschaftsfest anzugehen. Anstatt die KI einfach nur zufällige Fragen zu stellen, bauten sie eine kontrollierte Arena, in der sie die KI dazu zwingen konnten, zwischen zwei spezifischen, widersprüchlichen Regeln zu wählen. Sie nannten dies einen „Symmetrie-basierten Rahmen“, was eine schicke Art zu sagen ist, dass sie das Spiel so perfekt aufbautten, dass sich nur die Art und Weise änderte, wie die Regeln geschrieben waren, nicht aber die Regeln selbst.

Zu diesem Zweck erschufen sie eine massive „Mathematik-Kampfarena“ mit 550 verschiedenen Konfliktszenarien. In jedem Szenario musste die KI ein mathematisches Problem lösen (wie das Berechnen einer Sequenz oder das Finden eines Pfades in einem Graphen), wurde aber auf zwei verschiedene Arten beschrieben, wie die Lösung aussieht. Sie testeten vier verschiedene „Sprachen“ der Anweisung:

Reine natürliche Sprache: Einfache englische Sätze (z. B. „Addieren Sie die Zahlen zusammen.“).
Formale Sprache: Strenge mathematische Symbole und Gleichungen (z. B. $f(x) = x + 1$ ).
Naturalisierte formale Sprache: Eine Mischung, die mathematische Symbole verwendet, diese aber in englische Sätze einbettet (z. B. „Die Funktion ist definiert als $f(x) = x + 1$ .“).
Input-Output-Beispiele: Eine Liste von Beispielen, die Eingaben und deren Ergebnisse zeigt (z. B. „Wenn 2 hineingeht, kommt 3 heraus. Wenn 5 hineingeht, kommt 6 heraus.“).

Die KI musste eine dieser Beschreibungen wählen, um eine spezifische Testfrage zu lösen. Die Forscher beobachteten dann, welcher Beschreibung die KI genug „Vertrauen“ entgegenbrachte, um ihr zu folgen.

Das Ergebnis: Die Hierarchie des Vertrauens

Die Ergebnisse waren überraschend konsistent. Die KI wählte nicht einfach zufällig; sie hatte einen ganz klaren Favoriten. Es stellt sich heraus, dass KI-Modelle Struktur lieben und Mehrdeutigkeit hassen.

Die Forscher entdeckten eine strikte „Rangordnung“ des Vertrauens:

Obere Ebene: Formale und naturalisierte formale Sprachen waren die klaren Gewinner. Die KI folgte diesen Regeln in etwa 87 % bis 93 % der Fälle, wenn sie gegen einfache englische Sprache oder Beispiele antrat. Es scheint, dass die KI eine saubere mathematische Formel als das „Gesetz“ betrachtet.
Mittlere Ebene: Reine natürliche Sprache kam an zweiter Stelle. Sie war zuverlässiger als Beispiele, aber weniger zuverlässig als die Mathematik. Die KI folgte diesen Anweisungen zu etwa 78 % der Zeit, wenn sie mit Beispielen konkurrierte.
Untere Ebene: Input-Output-Beispiele wurden am wenigsten vertraut. Wenn die KI zwischen einer Liste von Beispielen und einer klaren Regel wählen musste, ignorierte sie die Beispiele fast immer.

Man kann es sich so vorstellen: Wenn Sie einem Roboter sagen: „Hier ist eine Liste der Zeiten, zu denen ich zu Mittag gegessen habe: 12:00, 12:15, 12:30“, könnte er raten, dass Sie um 12:45 Uhr essen. Aber wenn Sie ihm sagen: „Ich esse jeden Tag um 12:00 Uhr zu Mittag“, wird er sich an 12:00 Uhr halten. Die KI bevorzugt die explizite Regel gegenüber dem Muster, das sie erraten muss.

Es ist nicht nur Mathematik: Die Tests in der realen Welt

Das Team hörte nicht bei der Mathematik auf. Sie wollten sehen, ob diese „Hierarchie des Vertrauens“ auch in unordentlicheren, realen Situationen Bestand hat. Sie testeten die KI in drei anderen Bereichen:

Boolesche Algebra (Logikgatter): Sie stellten eine kompakte mathematische Formel gegen eine riesige „Wahrheitstabelle“ (eine massive Liste aller möglichen Ergebnisse). Obwohl die Wahrheitstabelle erschöpfend war und es unmöglich war, darin einen Fehler zu machen, bevorzugte die KI dennoch die kompakte Formel zu 88 % der Zeit. Es scheint, dass die KI „schlaue“ Abkürzungen gegenüber „Brute-Force“-Listen bevorzugt.
Codegenerierung: Sie gaben der KI einen Konflikt zwischen einer schriftlichen Beschreibung dessen, was ein Computerprogramm tun sollte, und einem Satz automatisierter Tests (Code, der prüft, ob das Programm funktioniert). Hier hingen die Ergebnisse von der „Rechenleistung“ der KI ab. Kleinere, weniger leistungsfähige Modelle neigten dazu, der schriftlichen Beschreibung zu folgen, während die leistungsfähigsten Modelle die automatisierten Tests stark bevorzugten und ihnen in bis zu 97 % der Fälle folgten. Dies deutet darauf hin, dass KI mit zunehmender Intelligenz lernt, den „harten Beweis“ von Code-Tests gegenüber menschlichen Beschreibungen zu vertrauen.
Klinische Regeln (Medizinische Beratung): Sie testeten die KI mit echten medizinischen Regeln über Medikamentendosierungen. Interessanterweise interessierte sich die KI in diesem Bereich weniger für das Format (Englisch vs. Beispiele) als vielmehr für den Inhalt. In diesem Bereich entschied sich die KI konsistent für die strengere Regel (die besagte: „Tun Sie dies nicht“) gegenüber der permissiveren Regel, unabhängig davon, wie die Regel geschrieben war. Dies deutet darauf hin, dass die KI in Hochrisikofeldern eine eingebaute Tendenz zur Sicherheit besitzt.

Was das für uns bedeutet

Das Paper kommt zu dem Schluss, dass KI kein bloßer Ratgeber ist, sondern eine systematische Art und Weise hat, zu entscheiden, welchen Anweisungen sie folgen soll. Sie bevorzugt im Allgemeinen explizite, strukturierte Regeln (wie mathematische Formeln) gegenüber implizierten Mustern (wie Beispielen).

Die Forscher fanden jedoch auch, dass dies kein perfektes, unveränderliches Gesetz ist. Die Präferenz der KI kann sich je nach Intelligenz des Modells und Art der Aufgabe verschieben. Zum Beispiel ignorierte die KI in den medizinischen Tests das Format völlig und suchte statnach der „sichereren“ Antwort.

Diese Studie liefert uns ein neues Werkzeug, um zu messen, wie eine KI denkt. Indem wir verstehen, dass eine KI einen „Lieblings-Typ“ von Anweisung hat, können wir bessere Systeme entwerfen. Wenn wir wollen, dass eine KI einer bestimmten Regel folgt, sollten wir sie wahrscheinlich als klare, formale Aussage formulieren, anstatt zu hoffen, dass sie sie aus einer Liste von Beispielen erschließt. Es ist eine Erinnerung daran, dass KI zwar immer intelligenter wird, aber dennoch braucht sie uns, um ihre Sprache klar zu sprechen – besonders wenn die Anweisungen im Konflikt stehen.

Technisches Resümee: Ein symmetriebasiertes Framework zur Messung von LLM-Präferenzen unter widersprüchlichen Spezifikationen

Problemstellung

Große Sprachmodelle (LLMs) agieren zunehmend in Umgebungen, in denen mehrere kontextuelle Spezifikationen eine Aufgabe definieren. Diese Spezifikationen nehmen oft unterschiedliche Formen an – natürliche Sprache, formale Constraints, ausführbare Tests oder Input-Output-Beispiele – und können inkonsistent oder direkt widersprüchlich sein. Während die bisherige Forschung untersucht hat, wie Modelle Konflikte zwischen Informationsquellen erkennen oder auflösen (z. B. in der Retrieval-Augmented Generation oder Faktenchecks), mangelt es an kontrollierbaren, attributierbaren Methoden, um systematisch zu analysieren, wie Modelle verschiedene Formen der Aufgabenstellung priorisieren, wenn diese inkompatible Verhaltensweisen unterstützen. Insbesondere bleibt unklar, ob LLMs systematische Präferenzen für bestimmte Repräsentationstypen (z. B. formal vs. natürliche Sprache) aufweisen und wie diese Präferenzen zwischen Modellen und Aufgabenbereichen variieren.

Methodik

Die Autoren schlagen ein symmetriebasiertes experimentelles Framework vor, das darauf ausgelegt ist, Modellpräferenzen unter widersprüchlichen Spezifikationen zu messen, indem es das Problem als einen Selektionsprozess über konkurrierende ausführbare Abbildungen behandelt.

Kern-Framework

Ausführbare Abbildungen (Mappings): Eine Aufgabe wird als Abbildung $f: X \to Y$ definiert. Widersprüchliche Spezifikationen werden als Paare von Abbildungen ( $f_1, f_2$ ) konstruiert, die distinkte, attributierbare Ausgaben für eine diskriminative Abfrage $q^\star$ erzeugen (wobei $f_1(q^\star) \neq f_2(q^\star)$ ).
Attribution: Da jede Spezifikation eine konkrete Ausgabe induziert, kann die Antwort des Modells direkt einer der Abbildungen oder keiner von beiden zugeordnet werden. Dies transformiert eine implizite Entscheidung in eine beobachtbare Variable.
Symmetrie-basierte Ausbalancierung (Counterbalancing): Um Repräsentationspräferenzen von Störfaktoren (wie etwa der Präsentationsreihenfolge oder spezifischen Inhalts-Biases) zu isolieren, verwendet das Framework symmetrie-vollständige Konfigurationen. Für jeden Vergleich zwischen Repräsentationstypen $A$ $A$ und $B$ $B$ werden vier Testläufe pro Konfliktinstanz generiert:
- $(A(f_1), B(f_2))$ , $(B(f_1), A(f_2))$ , $(A(f_2), B(f_1))$ , $(B(f_2), A(f_1))$ .
  Dieses Design balanciert die Zuweisung der Repräsentationstypen zu den zugrunde liegenden Abbildungen sowie die Reihenfolge der Präsentation aus, was eine Schätzung der Präferenz durch Aggregation ermöglicht, die nicht gezielte Faktoren herausrechnet.

Experimenteller Aufbau

Das Framework wurde über drei Domänen hinweg instanziiert:

Mathematischer Benchmark: Ein kontrollierter Datensatz von 550 Konfliktinstanzen über 11 Funktionsfamilien (z. B. algebraische, graphische, Matrix-Operationen). Vier Repräsentationstypen wurden verglichen: Reine natürliche Sprache (NL), Formale Sprache (Form), Naturalisierte formale Sprache (NatF) und Input-Output-Beispiele (Ex).
Boolesche Algebra: Konflikte zwischen symbolischen Formeln und Wahrheitstabellen.
Codegenerierung: Konflikte zwischen natürlicher Sprachdokumentation und ausführbaren Unit-Tests (abgeleitet aus dem MBPP-Datensatz).
Klinische Regeln: Konflikte involving renale Dosierungsschwellenwerte und pädiatrische Altersangaben, abgeleitet aus openFDA-Labels, wobei Konflikte zwischen echten Regeln und schemaerhaltenden Perturbationen getestet wurden.

Kernergebnisse

1. Systematische Repräsentationspräferenzen (Mathematischer Benchmark)

Über mehrere Modelle hinweg (einschließlich DeepSeek-, GPT- und Llama-Familien) identifizierte die Studie eine konsistente Präferenzordnung zur Auflösung mathematischer Konflikte:
$\text{Formal} \approx \text{Naturalized Formal} > \text{Pure Natural Language} > \text{Input–Output Examples}$

Formal vs. Natürliche Sprache: Modelle wählten formale Spezifikationen gegenüber reiner natürlicher Sprache in ~87 % der attributierbaren Antworten.
Formal vs. Beispiele: Die Präferenz für formale Spezifikationen gegenüber Beispielen war noch stärker (~93 %).
Naturalized Formal: Trotz der Ausdrucksform in natürlicher Sprache verhielten sich naturalisierte formale Spezifikationen ähnlich wie reine formale Spezifikationen, was darauf hindeutet, dass die Anwesenheit expliziter mathematischer Struktur der dominante Faktor ist, nicht die Oberflächensyntax.
Modellvarianz: Während die allgemeine Hierarchie Bestand hatte, variierte die relative Stärke der Präferenzen. So bevorzugte beispielsweise einige Modelle (z. B. GPT-5-nano) naturalisierte formale Spezifikationen, während andere (z. B. DeepSeek-V4-Flash) rein formale Spezifikationen favorisierten.

2. Die Rolle von Beispielen

Es wurde festgestellt, dass die Wettbewerbsfähigkeit von Input-Output-Beispielen stark von der Modellkapazität und der Aufgabenstruktur abhängt:

Kapazitätsabhängigkeit: Varianten mit höherer Modellkapazität wählten häufiger die durch Beispiele gestützten Abbildungen als Varianten mit geringerer Kapazität.
Aufgabenabhängigkeit: Beispiele waren am wettbewerbsfähigsten gegen reine natürliche Sprache (Selektionsraten bis zu ~55 % für einige Modelle), aber deutlich weniger wettbewerbsfähig gegenüber formalen oder naturalisierten formalen Spezifikationen (Selektionsraten oft <10 %).
Struktursensitivität: Beispiele hatten Schwierigkeiten, wenn die konkurrierende Spezifikation eine explizite mathematische Struktur offenbarte, da die endlichen Demonstration nicht ausreichten, um die Regel im Vergleich zu den expliziten Constraints formaler Notation zu rekonstruieren.

3. Heterogene Domänenbefunde

Boolesche Algebra: Modelle zeigten eine starke Präferenz für kompakte, kompositionale symbolische Repräsentationen (Formeln und Gate-Netzlisten) gegenüber erschöpfenden Wahrheitstabellen. Die Präferenz zwischen Formeln und Gate-Netzlisten war jedoch modellabhängig, was darauf hindeutet, dass es keine universelle Hierarchie für strukturell ähnliche Repräsentationen gibt.
Codegenerierung: Es wurde eine scharfe Divergenz basierend auf der Modellkapazität beobachtet. Modelle mit niedrigeren Scores favorisierten generell die natürliche Sprachdokumentation, während leistungsstärkere Modelle stark ausführbare Tests bevorzugten (bis zu 97 % Selektion bei Top-Modellen).
Klinische Regeln: In klinischen Settings übertrug sich die Repräsentationshierarchie nicht sauber. Stattdessen trat ein domänenspezifischer Bias auf: Modelle bevorzugten konsistent die restriktivere Regel (52 %–87 % Selektion), unabhängig davon, ob dies die "echte" Bezeichnung oder eine Perturbation war. Dies deutet darauf hin, dass in Hochrisikodomänen Sicherheits- oder Restriktions-Biases Repräsentationspräferenzen überschreiben können.

4. Robustheit und Enthaltung (Abstention)

Präsentationsreihenfolge: Obwohl es ein Sekundäreffekt war, hatte die Reihenfolge der Präsentation im Vergleich zum Repräsentationstyp nur einen minimalen Einfluss, außer wenn die konkurrierenden Spezifikationen eine ähnliche Stärke aufwiesen (z. B. Formal vs. Naturalized Formal).
Enthaltung: Wenn es Modellen explizit erlaubt war, "unsicher" zu antworten, nutzten sie die Enthaltung als Strategie zur Konfliktbewältigung, wobei die Raten je nach Repräsentationspaar signifikant variierten (z. B. ~64 % Enthaltung bei Formal vs. Naturalized Formal Konflikten in GPT-5-nano).

Signifikanz und Ansprüche

Das Paper beansprucht, die Konfliktlösung in LLMs als ein kontrollierbares, ausführbares und symmetrie-ausbalanciertes Messproblem etabliert zu haben.

Attribuierbare Messung: Durch die Verwendung von ausführbarer Wahrheit (Ground Truth) und symmetrie-basierter Ausbalancierung ermöglicht das Framework die direkte Attribution von Modellantworten auf spezifische Spezifikationen und geht damit über die qualitative Analyse von "Halluzination" oder "Reconciliation" hinaus.
Strukturiert, aber kontextabhängig: Die Ergebnisse charakterisieren die Konfliktlösung in LLMs nicht als zufälliges Rauschen, sondern als einen strukturierten Selektionsprozess. Diese Struktur ist jedoch kontextabhängig: Während in mathematischen Aufgaben eine allgemeine Präferenz für explizite Struktur besteht, können domänenspezifische Faktoren (wie Restriktivität in klinischen Regeln oder Testpräzision in der Codegenerierung) diese Präferenzen umgestalten oder überschreiben.
Vereinheitlichtes Framework: Die Arbeit bietet einen vereinheitlichten experimentellen Ansatz, um zu analysieren, wie Modelle verschiedene Formen der Spezifikation priorisieren, und zeigt dabei auf, dass diese Präferenzen nicht universell sind, sondern systematisch über Modelle, Aufgabenfamilien und Domänen hinweg variieren.

Die Autoren kommen zu dem Schluss, dass das Verständnis dieser impliziten Hierarchien essenziell für das Design zuverlässiger LLM-basierter Systeme ist, da der "Gewinner" in einem Konflikt durch ein komplexes Zusammenspiel von Repräsentationstyp, Modellkapazität und domänenspezifischen Constraints bestimmt wird.