🤖 machine learning

Relational Response Fields: A General Theory of Black-Box LLM Response Consistency and Recovery

Dit artikel introduceert het Relational Response Field (RRF)-framework om de intrinsieke moeilijkheid van het herstellen van consistente black-box LLM-responsen te definiëren en te kwantificeren via een metriek $\gamma_k(D,A)$ , waarbij wordt vastgesteld dat herstel afhangt van relationele symmetrieën en vertrouwde ankers in plaats van louter consistentie, terwijl fundamentele limieten op identificeerbaarheid worden bewezen en algoritmen voor sparse field repair worden geboden.

Oorspronkelijke auteurs: Song Zichen

Gepubliceerd 2026-08-06

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Song Zichen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een mysterie probeert op te lossen, maar je kunt alleen praten met een verdachte die ongelooflijk slim is, maar ook een volledige 'black box': je kunt vragen stellen aan de verdachte, maar je kunt hun aantekeningen, hun brein of de manier waarop ze denken niet zien. In de wereld van Kunstmatige Intelligentie zijn deze "verdachten" Large Language Models (LLM's). Het zijn de motoren achter chatbots die code schrijven, wiskundige problemen oplossen en verhalen vertellen. Maar hier is de crux: ze liegen soms, of "hallucineren", waardoor ze feiten verzinnen die perfect klinken maar totaal onjuist zijn. Wetenschappers hebben geprobeerd dit op te lossen door het model dezelfde vraag op verschillende manieren te stellen, te controleren of de antwoorden overeenkomen, of de modellen hun eigen werk te laten bekritiseren. Het is alsof je een verdachte drie keer dezelfde vraag stelt om te zien of hij een foutje maakt.

Echter, er is een dieper probleem dat de meeste mensen nog niet hebben opgemerkt. Wat als de verdachte liegt op een manier die perfect consistent is? Stel je voor dat de verdachte elke keer dezelfde leugen vertelt als je erom vraagt, zelfs als deze net iets anders geformuleerd is. Als je alleen controleert op consistentie, zul je hen nooit betrappen omdat hun verhaal nooit verandert. Dit artikel stelt een fundamentele vraag: Is het überhaupt mogelijk om de waarheid te achterhalen uit een verzameling antwoorden als de leugens consistent zijn? De auteur introduceert een nieuwe manier om naar dit probleem te kijken, waarbij een groep antwoorden niet wordt behandeld als een lijst met afzonderlijke gissingen, maar als een enkel, onderling verbonden dataveld. De auteur stelt dat het vermogen om deze fouten te herstellen afhangt van een specifieke wiskundige "moeilijkheidsscore" die meet hoe goed jouw vragen en controles zijn opgezet om leugens te ontmaskeren, in plaats van alleen hoe slim het model is.

De Kern van het Papier: Het Relationele Responsveld

De auteur, Song Zichen van Sungkyunkwan University, introduceert een concept genaamd een Relational Response Field (RRF). Denk aan dit als een kaart van een stad waar elk gebouw een antwoord is dat het model gaf op een licht gewijzigde versie van dezelfde vraag. Sommige gebouwen zijn verbonden door wegen die regels vertegenwoordigen. Bijvoorbeeld, als je een model vraagt een wiskundig probleem op te lossen, en je vraat het daarna opnieuw maar met de getallen verdubbeld, dan zou het antwoord ook moeten verdubbelen. Deze verbinding is een "weg" of een "transport". Als de antwoorden van het model deze regel breken, is de weg gebroken.

Meestal proberen onderzoekers fouten te herstellen door middel van stemmen (de meest voorkomende antwoord nemen) of door het model zichzelf te laten controleren. Dit artikel betoogt dat deze methoden blind zijn voor een specifiek type fout: gedeelde hallucinaties. Als het model een fout maakt die perfect in alle regels past (zoals een consistente leugen), zal stemmen niet helpen omdat elk antwoord dezelfde leugen is. Het papier suggereert dat je hiervoor "ankers" nodig hebt. Een anker is een stukje vertrouwde, externe bewijs dat niet door het model zelf is gegenereerd. Het kan een menselijke label zijn, een stuk code dat daadwerkelijk draait en het antwoord controleert, of een bekend feit.

De "Moeilijkheidsscore": $\gamma_k$

Het hart van het papier is een wiskundige formule die een getal berekent genaamd $\gamma_k$ (gamma-k). Je kunt dit zien als een "detective's moeilijkheidsscore" voor een specifiek mysterie.

Wat het meet: Het meet hoe moeilijk het is om de waarheid te vinden gegeven je specifieke set vragen (de kaart), je regels (de wegen) en je vertrouwde bewijsmateriaal (de ankers).
Het Magische Getal: Als deze score nul is, bewijst het papier wiskundig dat het onmogelijk is om de waarheid van een leugen te onderscheiden, ongeacht hoe vaak je de vraag stelt of hoe slim je algoritme is. De leugens zijn verborgen in een "blind vlek" die jouw vragen niet kunnen zien.
Het Omgekeerde: Als de score positief is, betekent dit dat de waarheid gevonden kan worden. Het papier bewijst dat de fout in je uiteindelijke antwoord ongeveer proportioneel is aan $1/\gamma_k$ . In simpele termen: hoe hoger de score, hoe gemakkelijker het is om de fouten van het model te herstellen.

De auteur laat zien dat deze score de "intrinsieke moeilijkheid" van het probleem is. Het maakt er niet toe of je een supercomplex AI-systeem gebruikt om de antwoorden te herstellen of een simpel stemsysteem; als de score nul is, zit je vast. Als de score hoog is, kan zelfs een simpel systeem een geweldig werk leveren.

Wat het Papier Uitsluit

Het papier is zeer duidelijk over wat niet werkt. Het spreekt zich expliciet uit tegen het idee dat consistentie gelijk staat aan waarheid. Alleen omdat een model antwoorden geeft die perfect consistent met elkaar zijn (ze volgen allemaal dezelfde regels), betekent dat niet dat ze waar zijn. Een model kan perfect consistent en volledig onjuist zijn. Het papier sluit ook de gedachte uit dat het simpelweg stellen van meer vragen of het herhalen van dezelfde vraag steeds opnieuw zal helpen. Als je dezelfde vraag 100 keer stelt, krijg je slechts 100 kopieën van dezelfde leugen. Het papier laat zien dat het toevoegen van "genormaliseerde duplicaten" (het kopiëren en plakken van dezelfde controle) de moeilijkheidsscore niet verhoogt; deze blijft hetzelfde. Je hebt andere soorten controles nodig (zoals het draaien van code of het controleren tegen een menselijk feit) om de score daadwerkelijk te verbeteren.

Hoe Zeker Zijn Ze?

De auteur is zeer zelfverzekerd over de wiskundige bewijzen. Er is bewezen dat:

Als de moeilijkheidsscore nul is, kun je de waarheid niet herstellen (het is wiskundig onmogelijk).
Als de score positief is, is er een gegarandeerde limiet aan hoe fout je antwoord kan zijn.
Geen enkele andere methode kan deze limiet verslaan; het is de best mogelijke prestatie die men kan hopen op.

De auteur heeft deze ideeën ook getest in simulaties en met wereldwijde experimenten met echte AI-modellen (zoals Qwen2.5 en Phi-3) bij wiskunde- en programmeertaken. In deze experimenten hebben zij scenario's gecreëerd waarin zij de antwoorden kenden en vervolgens fouten hebben geïnjecteerd. Zij vonden dat wanneer zij de opzet veranderden om de moeilijkheidsscore te verhogen, het vermogen van de modellen om het juiste antwoord te herstellen exact zo verbeterde als de wiskunde voorspelde. Ze lieten zelfs zien dat deze score kon voorspellen hoe moeilijk het zou zijn om fouten te herstellen over verschillende modellen en verschillende soorten taken (wiskunde versus code) heen.

De Conclusie

Dit papier verandert de manier waarop we denken over het herstellen van AI. In plaats van alleen te proberen een betere "stemmachine" of een slimmere "criticus" te bouwen, moeten we ons richten op het ontwerpen van de structuur van onze vragen en controles. Het papier suggereert dat de sleutel tot betrouwbare AI niet alleen het slimmer maken van het model is, maar ervoor zorgen dat we de juiste "ankers" en "wegen" hebben opgezet, zodat de waarheid de enige is die past. Als we deze "moeilijkheidsscore" ( $\gamma_k$ ) kunnen meten, kunnen we vooraf bepalen of een specifieke set vragen en controles sterk genoeg is om een leugen te vangen, of dat we meer vertrouwd bewijsmateriaal aan de mix moeten toevoegen. Het verandelt het probleem van AI-betrouwbaarheid van een gokspel in een meetbaar, oplosbaar puzzelstuk.

Technische Samenvatting: Relational Response Fields (RRF)

1. Probleemstelling

Het artikel behandelt de fundamentele vraag van herstelbaarheid voor black-box Large Language Models (LLM's). Terwijl bestaande betrouwbaarheidsmethoden (sampling, prompting, voting, zelfcorrectie en metamorfisch testen) opereren tijdens de inferentiefase, missen zij vaak een verenigd theoretisch kader om te bepalen of een verzameling responsen überhaupt kan worden hersteld van corruptie.

Huidige benaderingen behandelen consistentie als een surrogaat voor waarheid. De auteur voert aan dat consistentie alleen onvoldoende is, omdat een model een "gedeelde hallucinatie" kan produceren—een systematische fout die perfect consistent blijft over parafrasen, decomposities of andere transformaties heen. Het kernprobleem is het onderscheiden van een veld van responsen dat slechts consistent is van een veld dat identificeerbaar (herstelbaar) is, gegeven een specifieke set relaties en externe ankers, onder een ijl (sparse) corruptiemodel.

2. Methodologie: Relational Response Fields (RRF)

Het artikel introduceert Relational Response Fields (RRF) als een algemeen wiskundig model voor black-box responsherstel.

2.1 De RRF-formalismen

Graafstructuur: Een query en de bijbehorende transformaties worden gerepresenteerd als een gerichte multigraaf $G = (V, E)$ . Knopen $i \in V$ representeren getransformeerde queries $x_i$ , en het modelantwoord wordt geparsed naar een vector $z_i \in H_i$ (een einddimensionale Hilbertruimte). De verzameling $z = (z_i)_{i \in V}$ vormt het responsveld.
Getypeerde Transporten: Randen $e = (i, j)$ $e = (i, j)$ dragen een bekende lineaire transportoperator $T_e: H_i \to H_j$ $T_{e} : H_{i} \to H_{j}$ . Een geldig veld moet voldoen aan $z_j = T_e z_i$ $z_{j} = T_{e} z_{i}$ .
- Voorbeelden: Identiteitstransport voor parafrasen; scalaire mappen voor eenhedenconversie; gestructureerde mappen voor decompositie; executie-mappen voor code-refactoring.
Defect Operator ( $D$ ): De residu $z_j - T_e z_i$ definieert een "relatie-defect". Het stapelen van deze residuen over alle randen vormt een lineaire operator $D$ . De nulruimte $\ker D$ bevat velden die perfect consistent zijn maar potentieel onjuist (bijv. een globale verschuiving of gedeelde hallucinatie).
Anker Operator ( $A$ ): Om de gauge-vrijheid in $\ker D$ te doorbreken, incorporeert het framework extern, vertrouwd bewijs (executieresultaten, menselijke labels, verifiers of symbolische restricties) als een affiene restrictie $Az \approx b$ .
Observatiemodel: Het geobserveerde veld is $y = z^* + e^*$ , waarbij $z^*$ het ware veld is en $e^*$ een ijle (sparse) error-vector is die ondersteund wordt op maximaal $k$ knopen. Het herstelprobleem wordt geformuleerd als een groep-ijle inverse probleem:
$s = \begin{bmatrix} D \\ A \end{bmatrix} e^* + \xi = B e^* + \xi$
waarbij $B = [D; A]$ de gestapelde relatie-anker operator is.

2.2 De Intrinsieke Moeilijkheidsgraad: $\gamma_k(D, A)$

De centrale theoretische bijdrage is de definitie van de Relational Observability Margin $\gamma_k$ :
$\gamma_k(D, A) = \min_{h \neq 0, \|h\|_{0,g} \le 2k} \frac{\|Bh\|_2}{\|h\|_2}$
waarbij $\|h\|_{0,g}$ het aantal niet-nul knoopgroepen (responsinstanties) telt, en niet de scalaire coördinaten. Deze grootheid is de restricted minimum singular value van de operator $B$ over supports van grootte $2k$ .

3. Belangrijkste Bijdragen en Theoretische Resultaten

3.1 Scheiding tussen Consistentie en Waarheid

Het artikel bewijst Theorem 2 (Consistency Blindness): Als een estimator enkel steunt op relatie-defecten ($Dz$), kan deze niet het onderscheid maken tussen het ware veld $z$ en $z+h$ voor elke $h \in \ker D$ . Een gedeelde hallucinatie die coherent getransporteerd wordt over alle queries, is ononderscheidbaar van de waarheid indien deze in de nulruimte ligt. Ankers zijn vereist om deze "gauge-richtingen" te verwijderen.

3.2 Exacte Identificeerbaarheid en Stabiliteit

Theorem 3 (Exact Uniform Identifiability): $\gamma_k(D, A) > 0$ is een noodzakelijke en voldoende voorwaarde voor de unieke identificatie van elke $k$ -knopen corruptie. Dit is equivalent aan het feit dat de group spark van $B$ groter is dan $2k$ .
Theorem 4 (Deterministic Stability): Indien $\gamma_k > 0$ , voldoet elke haalbare schatting $\hat{e}$ aan een foutberekening proportioneel aan het ruisniveau $\epsilon$ gedeeld door de marge:
$\|\hat{e} - e^*\|_2 \le \frac{2\epsilon}{\gamma_k(D, A)}$
Theorem 5 (Minimax Optimality): Een two-point lower bound demonstreert dat geen enkele estimator een betere afhankelijkheid van $\epsilon$ kan bereiken dan $O(1/\gamma_k)$ . Hiermee is $1/\gamma_k$ de intrinsieke conditiegetal van het herstelprobleem, onafhankelijk van de specifieke algoritme dat gebruikt wordt.

3.3 Algoritmische Onderscheidingen

Het artikel maakt onderscheid tussen informatie-theoretische identificeerbaarheid (gegarandeerd door $\gamma_k > 0$ ) en tractabel herstel (gegarandeerd door sterkere condities zoals de Group Robust Null-Space Property).

Ideale Decoder: Lost de combinatorische $\ell_{0,g}$ minimalisatie op.
Convex Decoder: Gebruikt groep- $\ell_1$ relaxatie (Group Lasso).
Discrete Decoder: Optimaliseert over een eindige verzameling kandidaat-velden (essentieel voor code of discrete outputs).

4. Experimentele Resultaten

De auteur valideert de theorie via synthetische en real-model experimenten, waarbij de focus ligt op vier door de theorie voorspelde fenomenen in plaats van enkel de uiteindelijke nauwkeurigheid:

Consistentie $\neq$ Waarheid: Synthetische tests tonen aan dat een veld met een gedeelde hallucinatie (in $\ker D$ ) een bijna-nul defect ( $\|Dz\| \approx 0$ ) heeft, ondanks een grote fout ten opzichte van de waarheid, wat de "consistency blindness" bevestigt.
Anchor Phase Transitions: In synthetische grafen met disjuncte componenten is herstel onmogelijk ( $\gamma_k = 0$ ) totdat een kritiek aantal ankers is toegevoegd om alle $2k$ -sparse nul-richtingen te doorbreken. Zodra de laatste nul-richting is verwijderd, wordt $\gamma_k$ positief en begint exact herstel.
Redundantie Saturatie: Genormaliseerde duplicate relaties (bijv. het herhalen van dezelfde parafrase) verhogen $\gamma_k$ niet. De marge hangt af van de informatie in de operator, niet van het ruwe aantal randen.
Cross-Model/Taak Voorspelling: Door gebruik te maken van echte logs van Qwen2.5 en Phi-3 modellen op wiskunde- en codetaken, heeft de auteur authentieke fouten onder verschillende operator-ontwerpen opnieuw afgespeeld. Zij vonden dat $\gamma_k$ de moeilijkheid van reparatie voorspelt over verschillende modellen en taken. Een hogere $\gamma_k$ correleerde consistent met een lagere reconstructiefout, zelfs na correctie voor ruwe modelkwaliteit en foutpercentages.

5. Betekenis en Claims

Het artikel claimt dat $\gamma_k(D, A)$ een meetbare, intrinsieke eigenschap is van een respons-herstel instantie, in plaats van een score die aan een specifieke heuristiek is gekoppeld.

Verschuiving in Perspectief: Het verplaatst de analyse van "hoe accuraat is het model?" naar "is het observatiesysteem (relaties + ankers) in staat om de waarheid te onderscheiden van ijle fouten?".
Ontwerprichtlijnen: De marge dient als een certificaat voor systeemontwerp. Indien $\gamma_k = 0$ , kan geen enkele hoeveelheid algoritmische verfijning (betere decoders, meer iteraties) herstel garanderen; men moet nieuwe informatie verwerven (nieuwe relaties of ankers). Indien $\gamma_k$ positief maar klein is, is het probleem ruis-gelimiteerd.
Beperkingen: De auteur is bescheiden over de reikwijdte. De globale stellingen zijn lineair en eindimensionaal; niet-lineaire transporten worden behandeld via lokale Jacobiaan-benaderingen. Het framework gaat uit van een ijle corruptiemodel, wat mogelijk niet geldt voor diffuse representatie-biases. De experimenten zijn beperkt tot de domeinen wiskunde en code en claimen geen universele toepasbaarheid op alle natuurlijke taal-taken.

Samenvattend biedt het artikel een rigoureuze wiskundige fundering voor de betrouwbaarheid van black-box LLM's, waarbij wordt vastgesteld dat herstelbaarheid een eigenschap is van het observatieontwerp (de getypeerde relaties en ankers) en wordt gekwantificeerd door de restricted observability margin $\gamma_k$ .