🤖 AI

The Topology of Ill-Posed Questions: Persistent Homology for Detection and Steering in LLMs

Dieses Paper schlägt ein einheitliches Framework vor, das persistente Homologie verwendet, um die topologische Struktur der internen Zustände von LLMs zur Erkennung schlecht gestellter Fragen zu charakterisieren, und eine topologiebedingte Aktivitätssteuerung (topology-conditioned activation steering) einsetzt, um Modelle effektiv in Richtung Klärung oder Enthaltung zu lenken, wobei es bestehende Baselines über mehrere Datensätze hinweg signifikant übertrifft.

Ursprüngliche Autoren: Guangyu Jiang, Sizhe Tang, Mahdi Imani, Tian Lan

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Guangyu Jiang, Sizhe Tang, Mahdi Imani, Tian Lan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sprechen mit einem sehr klugen, belesenen Freund (einem Large Language Model oder LLM), der es liebt, Fragen zu beantworten. Normalerweise ist er großartig. Aber manchmal stellen Sie ihm eine knifflige Frage, der es an entscheidenden Details mangelt, die zwei verschiedene Bedeutungen hat oder einen Widerspruch enthält.

Wenn Sie fragen: „Wer hat das Spiel gewonnen?“, könnte Ihr Freund wild herumraten. Wenn Sie fragen: „Was ist die Hauptstadt des Landes, das nicht existiert?“, könnte er verwirrt sein. Dies sind schlecht gestellte Fragen (ill-posed questions).

Dieses Paper stellt eine neue Methode vor, die dem Computer hilft, zu „sehen“, dass eine Frage knifflig ist, bevor er anfängt, eine Antwort zu tippen. Dies geschieht mithilfe eines Zweigs der Mathematik namens Topologie, die im Wesentlichen die Lehre von Formen und deren Verbindungen ist.

So funktioniert die Methode des Papers, aufgeschlüsselt in einfache Analogien:

1. Die „Gedankenwolke“ (Die Punktwolke)

Wenn ein Computer einen Satz liest, sieht er nicht nur Wörter; er verwandelt jedes Wort in einen komplexen mathematischen Punkt in einem hochdimensionalen Raum.

Der alte Weg: Die meisten Forscher nehmen all diese Punkte und zerquetschen sie zu einem einzigen „Durchschnittspunkt“, um den Satz zu verstehen. Es ist, als würde man einen ganzen Schwarm Vögel nehmen, sie zu einem einzigen Ball aus Federn zusammenquetschen und dann versuchen, die Form des Schwarms zu erraten. Man verliert das gesamte Detail darüber, wie die Vögel angeordnet sind.
Der neue Weg: Die Autoren sagen: „Lasst uns den Schwarm behalten!“ Sie betrachten die Punktwolke (die Hidden States der Wörter) bei jedem einzelnen Schritt des Denkprozesses des Computers. Sie behandeln die Frage wie eine 3D-Punktwolke, die im Raum schwebt.

2. Der „Blasentest“ (Persistente Homologie)

Wie erkennt man, ob eine Punktwolke „unordentlich“ (schlecht gestellt) oder „ordentlich“ (gut gestellt) ist? Die Autoren verwenden eine Technik namens Persistente Homologie.

Die Analogie: Stellen Sie sich vor, Sie haben eine Menge schwebender Ballons (die Wörter). Sie blasen langsam eine riesige, unsichtbare Blase um sie herum auf.
- Gut gestellte Frage: Während die Blase wächst, liegen die Ballons nah beieinander. Sie verschmelzen sehr schnell zu einem einzigen großen Cluster. Die „Form“ der Gruppe ist einfach und einheitlich.
- Schlecht gestellte Frage: Die Ballons sind weit verstreut. Vielleicht ist eine Gruppe auf der linken Seite (bezieht sich auf eine Bedeutung) und eine andere Gruppe auf der rechten Seite (bezieht sich auf eine andere Bedeutung). Während Sie die Blase aufblasen, dauert es sehr lange, bis diese getrennten Gruppen sich schließlich berühren und verschmelzen.
Die Messung: Die Mathematik misst genau, wie lange es dauert, bis diese getrennten Gruppen verschmelzen. Diese „Lebensdauer“ der Trennung sagt dem Computer: „Hey, diese Frage hat Teile, die noch nicht zusammenpassen.“

3. Der „Form-Zeugnisbericht“ (Die Deskriptoren)

Anstatt zu versuchen, die gesamte komplexe Form der Wolke auswendig zu lernen, destillieren die Autoren sie in drei einfache Zahlen für jede Schicht des Gehirns des Computers herunter:

Durchschnittliche Wartezeit: Wie lange bleiben die Gruppen im Durchschnitt getrennt, bevor sie verschmelzen?
Ausmaß des Chaos: Passiert die Trennung gleichmäßig oder gibt es nur ein oder zwei große Lücken?
Größte Lücke: Wie dominant ist die größte Trennung?

Indem sie diese drei Zahlen für jede Schicht des Denkprozesses des Computers stapeln, erstellen sie eine einzigartige „Form-ID“ für die Frage.

4. Das „Intelligente Lenkrad“ (Activation Steering)

Sobald der Computer diese „Form-ID“ hat, kann er zwei Dinge tun:

A. Probleme erkennen (Detection)
Der Computer kann sich die Form-ID ansehen und sagen: „Das sieht nach einem ‚Fehlender Kontext‘-Problem aus“ oder „Das sieht nach einem ‚Verwirrenden Wort‘-Problem aus“. Das Paper zeigt, dass dies viel besser darin ist, knifflige Fragen zu erkennen als bisherige Methoden (Verbesserung der Genauigkeit von etwa 67 % auf 79 % in einigen Tests).

B. Das Verhalten steuern (Steering)
Dies ist der kreativste Teil. Normalerweise, wenn ein Computer eine schlechte Frage erhält, sagt er vielleicht einfach: „Ich weiß es nicht“, oder gibt eine generische Ablehnung ab.

Das Problem: Eine generische Ablehnung ist langweilig und wenig hilfreich.
Die Lösung: Das System schaut in seinem Gedächtnis nach anderen Fragen, die dieselbe Form-ID hatten. Es findet Beispiele, in denen der Computer erfolgreich um Klärung gebeten hat, anstatt zu raten.
Die Aktion: Es „steuert“ den aktuellen Denkprozess des Computers sanft so, dass er den erfolgreichen Beispielen entspricht.
- Anstatt: „Das Veröffentlichungsdatum ist der 3. Juli.“ (Raten des falschen T2-Films).
- Es wird zu: „Ich benötige weitere Informationen. Welchen ‚T2‘ meinen Sie? Es gibt mehrere Filme mit diesem Namen.“

Die Ergebnisse

Die Autoren testeten dies an drei verschiedenen populären KI-Modellen (Gemma, Llama und Mistral) und drei verschiedenen Arten von kniffligen Fragen.

Bessere Erkennung: Sie wurden viel besser darin, zu erkennen, ob eine Frage fehlerhaft oder mehrdeutig war.
Bessere Antworten: Wenn sie die „Steering“-Methode anwandten, verweigerte die KI nicht einfach die Antwort. Sie gab fundierte (grounded) Antworten – das heißt, sie erkannte das spezifische Problem an (z. B. „Sie haben das Jahr nicht genannt“) und fragte nach dem fehlenden Teil, anstatt nur zu sagen: „Ich kann das nicht beantworten“.

Zusammenfassung

Betrachten Sie dieses Paper als das Geben einer topologischen Brille an die KI. Anstatt nur die Wörter zu lesen, kann die KI nun die Form der Bedeutung der Frage sehen. Wenn die Form fragmentiert oder verstreut ist (schlecht gestellt), weiß die KI genau, wie sie innehalten und um Klärung bitten muss, anstatt selbstbewusst die falsche Antwort zu raten.

Technisches Resümee: Die Topologie schlecht gestellter Fragen

Problemstellung

Große Sprachmodelle (LLMs) begegnen häufig schlecht gestellten Fragen (ill-posed questions) – Anfragen, die mehrdeutig, unterbestimmt, widersprüchlich oder mangelhaft kontextualisiert sind. Im Gegensatz zu wohldefinierten Problemen können diese Abfragen entweder keine gültige Antwort zulassen oder mehrere plausible Interpretationen eröffnen. Bestehende Ansätze zur Handhabung von Unbestimmtheit konzentrieren sich primär auf die Analyse von Modell-Outputs (z. B. das Erkennen von Verhaltensmustern der Verweigerung) oder auf die Untersuchung spezifischer Unterklassen von Mehrdeutigkeit durch Input-Output-Umschreibung. Diese Methoden behandeln das LLM weitgehend als Black Box und versäumen es, die vereinheitlichte interne Repräsentation diverser Quellen der Unbestimmtheit zu erfassen. Infolgedessen kollabieren aktuelle Steuerungsmechanismen oft in generische Verweigerungsmuster, anstatt das Modell zu einer kontextbezogenen Klärung oder gezielten Abstinenz zu führen.

Methodik

Das Paper schlägt ein Framework vor, das das Verhalten von LLMs analysiert und steuert, indem es die internen verborgenen Zustände (hidden states) von Prompt-Tokens als topologische Struktur modelliert.

1. Schichtweise Token-Wolken-Repräsentation

Anstatt einen Prompt in einen einzelnen gepoolten Vektor zu komprimieren, behandeln die Autoren die kontextuellen Hidden States der Prompt-Tokens in jeder Transformer-Schicht $l$ als Punktwolke $X^{(l)}(q)$ .

Dimensionalitätsreduktion: Um Rauschen und Rechenaufwand zu minimieren, werden die Token-Zustände mittels Hauptkomponentenanalyse (PCA), die auf dem Trainingsdatensatz basiert, in einen niederdimensionalen Raum projiziert.
Topologische Analyse: Die Geometrie dieser Token-Wolken wird mittels endlicher nulldimensionaler persistenter Homologie ( $H_0$ ) analysiert. Diese Methode verfolgt, wie anfänglich disjunkte Token-Komponenten mit zunehmendem Distanzschwellenwert (Filtrationsradius) verschmelzen.
Interpretation: Eine gut gestellte Frage induziert Token-Zustände, die in der Filtration frühzeitig zu einer kohärenten Struktur verschmelzen. Eine schlecht gestellte Frage bewahrt hingegen getrennte oder ungleichmäßig verbundene Gruppen (die unaufgelöste Entitäten, Kontexte oder Constraints repräsentieren) bis zu größeren Skalen, was zu distinkten Verschmelzungsmustern führt.

2. Kompakte topologische Deskriptoren

Für jede Schicht wird das endliche $H_0$ -Persistenzdiagramm in drei festdimensionale skalare Deskriptoren zusammengefasst:

Mittlere endliche Lebensdauer ( $\mu$ ): Der durchschnittliche Maßstab, bei dem Komponenten verschmelzen, was den Grad der Fragmentierung angibt.
Normierte Lebensdauer-Entropie ( $E$ ): Misst die Verteilung der Verschmelzungsereignisse (diffus vs. konzentriert).
Größte Lebensdauer-Konzentration ( $R$ ): Das Verhältnis der Summe der fünf größten Lebensdauern zur Gesamtsumme, was die Dominanz der Haupttrennungen erfasst.

Diese Deskriptoren werden über alle $L$ Schichten hinweg zu einem Topologie-Vektor $z(q) \in \mathbb{R}^{3L}$ kombiniert, der die Frage repräsentiert.

3. Topologie-konditionierte Aktivierungssteuerung

Das Framework nutzt diese Topologie-Vektoren für zwei Zwecke:

Klassifizierung: Ein überwachter Klassifikator sagt binäre Unbestimmtheit oder feingliedrige Subtypen (z. B. Polysemie, fehlender zeitlicher Kontext) direkt aus dem Topologie-Vektor voraus.
Lokale Steuerung: Anstatt eine einzige globale „Abstinenz-Richtung“ anzuwenden, ruft die Methode topologisch ähnliche positive (Klärung/Abstinenz) und negative (direkte Antwort) Beispiele aus dem Trainingssatz ab.
- Ein lokaler Steuerungsvektor $v_{local}$ wird als Differenz zwischen den mittleren Aktivierungen dieser abgerufenen Nachbarn konstruiert.
- Dieser Vektor wird während der Prefill- und Decoding-Phasen zu den Hidden States addiert, um das Modell zu einer Antwort zu führen, die die spezifische Quelle der Unbestimmtheit adressiert, während der semantische Gehalt der ursprünglichen Frage erhalten bleibt.

Zentrale Beiträge

Vereinheitlichte topologische Repräsentation: Einführung einer schichtweisen Token-Wolken-Repräsentation, welche die multiskalige Konnektivität schlecht gestellter Fragen mittels endlicher $H_0$ -persistenter Homologie quantifiziert.
Kompakte Merkmalsextraktion: Nachweis, dass drei kompakte Statistiken (mittlere Lebensdauer, Entropie, Konzentration), die aus $H_0$ -Lebensdauern abgeleitet wurden, eine robuste, niederdimensionale Repräsentation bilden, die sowohl die binäre Detektion als auch die feingliedrige 9-Wege-Klassifizierung von Unbestimmtheit unterstützt.
Topologie-konditionierte Steuerung: Entwicklung eines Steuerungsmechanismus, der durch topologische Ähnlichkeit kontextspezifische Kontrastpaare auswählt. Dies ermöglicht es dem Modell, von einer direkten Beantwortung zu einer quellspezifischen Abstinenz oder Klärung zu wechseln, ohne in generische Verweigerungen zu kollabieren.

Experimentelle Ergebnisse

Das Framework wurde auf drei Open-Weight-LLMs (Gemma-7B-it, Llama-3.1-8B-Instruct, Mistral-7B-Instruct-v0.3) anhand von drei Benchmarks evaluiert: AmbigQA und SituatedQA (binäre Detektion) sowie CLAMBER (9-Wege-Feinklassifizierung).

Klassifizierungsleistung:
- AmbigQA: Die Genauigkeit verbesserte sich von 67,4 % (AEN-Baseline) auf 78,9 %.
- SituatedQA: Die Genauigkeit verbesserte sich von 79,9 % auf 88,5 %.
- CLAMBER (9-Wege): Die Genauigkeit verbesserte sich von 57,6 % auf 69,6 %.
- Die Topologie-Merkmale übertrafen konsistent promptbasierte Baselines (Zero-Shot, Few-Shot, CoT) sowie Neuron-Probing-Baselines (AEN).
Steuerungsleistung:
- Die Topologie-konditionierte Steuerung erhöhte die Rate der „Grounded Acceptable“ Antworten (Antworten, die das spezifische fehlende/mehrdeutige Element korrekt identifizieren und adressieren) im Durchschnitt von 11,9 % auf 16,4 %.
- Die „Total Acceptable“ Rate (Grounded + Generic) stieg von 61,4 % auf 70,6 %.
- Entscheidend ist, dass die Methode „generische“ Verweigerungen zugunsten „grounded“ Antworten reduzierte, was zeigt, dass die Steuerung die spezifischen Informationen der Frage erfolgreich bewahrte, während sie das Antwortverhalten änderte.

Signifikanz und Behauptungen

Das Paper behauptet, dass die persistente Homologie eine interpretierbare Repräsentation der Unbestimmtheit liefert, welche erfasst, wie sich die interne Konnektivitätsstruktur des Modells über die Schichten hinweg transformiert. Die Signifikanz liegt im Nachweis, dass:

Unbestimmtheit nicht nur ein Phänomen auf Output-Ebene ist, sondern in der geometrischen Anordnung der Token-Zustände während der Prefill-Phase kodiert ist.
Topologische Deskriptoren als effektive Retrieval-Keys für die lokale Aktivierungssteuerung dienen können, was gezielte Interventionen ermöglicht, die sensitiv gegenüber dem spezifischen Subtyp der Unbestimmtheit sind (z. B. Unterscheidung zwischen lexikalischer Mehrdeutigkeit und fehlendem zeitlichem Kontext).
Dieser Ansatz über feste Verweigerungsmuster hinausgeht und LLMs ermöglicht, Antworten zu generieren, die sowohl abstinent (wenn nötig) als auch informativ hinsichtlich der spezifischen Natur der Unklarheit der Anfrage sind.

Die Autoren weisen auf Limitationen hin, darunter die Beschränkung auf drei Instruction-tuned Modelle und drei QA-Benchmarks, und schlagen vor, zukünftige Arbeiten die Untersuchung höherdimensionaler Homologie ( $H_1$ ) oder das Erlernen von Schicht-Aggregationsgewichten zu widmen.