Grounding Without Corrective Control: Truth-Tracking Profiles for Large Language Models

De Kaart versus het Kompas: Waarom weten hoe de weg loopt niet hetzelfde is als de weg bewandelen

Stel je voor dat je een robot probeert te leren hoe hij door een stad moet navigeren. Je hebt twee manieren om dit te doen. De eerste manier is om de robot een enorme, perfecte kaart van de stad te geven die door duizenden mensen over honderden jaren heen is getekend. De robot onthoudt elke straat, elk gebouw en elke kortere route. Hij kan de kaart perfect opzeggen en zelfs nieuwe kaarten tekenen die precies lijken op de oude. Dit is hoe veel kunstmatige intelligentiesystemen leren: ze lezen miljarden pagina's aan menselijke teksten en absorberen de patronen, feiten en verhalen die mensen hebben geschreven.

De tweede manier is om de robot een levende kompas en een paar ogen te geven. Dit stelt de robot in staat om de wereld op dit moment te zien, te merken of een straat is afgesloten voor werkzaamheden, of te beseffen dat hij een verkeerde afslag heeft genomen. Dit is het verschil tussen het hebben van een statisch verslag van de wereld en het hebben van een live verbinding met de wereld. Wetenschappers debatteren al lang of AI echt dingen kan "weten" of dat het slechts een meesterlijke nabootsing is. Dit artikel vraagt niet alleen of de AI een kaart heeft; het vraagt of de AI een kompas heeft. Het suggereert dat zelfs als een AI een perfecte kaart heeft (inhoud), het nog steeds blind kan zijn voor veranderingen in de echte wereld als het geen live routes heeft om zijn werk te controleren. Het begrijpen van dit onderscheid is cruciaal, omdat het ons vertelt wanneer we een antwoord van een AI kunnen vertrouwen en wanneer we het zelf moeten dubbelchecken.

---

Het Grote Idee van het Papier: De "Live Wire" Test

Brett Reynolds, de auteur van dit artikel, stelt een nieuwe manier voor om naar Large Language Models (de superintelligente AI-chatbots die we vandaag de dag gebruiken) te kijken. Hij betoogt dat we moeten stoppen met vragen: "Weet deze AI de waarheid?" en moeten beginnen met vragen: "Heeft deze AI een live verbinding met de waarheid?"

Zie een AI als een zeer getalenteerde chef-kok die elk recept ter wereld uit zijn hoofd kent. Als je om een chocoladecake vraagt, kan de chef de ingrediënten, de temperatuur en de baktijd perfect beschrijven. Dit is Grounding (verankering). De kennis van de chef is "verankerd" in de miljoenen kookboeken die hij heeft gelezen. Maar hier zit de crux: als je de chef vraagt: "Is de oven op dit moment eigenlijk wel heet?" of "Heeft de bakker vanochtend het recept aangepast?", dan weet de chef het misschien niet. Hij weet alleen wat de boeken zeiden voordat hij stopte met lezen. Hij heeft geen live verbinding met de keuken.

Reynolds noemt deze ontbrekende verbinding Corrective Control (corrigerende controle). Het is het vermogen om een verse fout op te merken en deze te herstellen terwijl je de taak uitvoert.

• Derivative Answerability (Afgeleide Antwoordvaardigheid): Dit is wanneer de AI dingen goed krijgt omdat het de correcties heeft geërfd die mensen in het verleden hebben gemaakt. Als de AI zegt "De lucht is blauw", heeft hij gelijk omdat mensen dat feit in boeken al eeuwenlang hebben gecorrigeerd. De AI vaart mee op de coattails van de menselijke waarheid.
• Live Answerability (Live Antwoordvaardigheid): Dit is wanneer de AI de lucht zelf kan controleren op dit moment. Als de lucht eigenlijk grijs is vanwege een storm, ziet een systeem met live antwoordvaardigheid het grijs en werkt het zijn antwoord bij.

Het artikel suggereert dat de meeste huidige AI-systemen lijken op de chef met het perfecte kookboek maar zonder ogen. Ze zijn geweldig in het opzeggen van de geschiedenis, maar ze falen vaak wanneer de wereld verandert of wanneer ze een specifieke, verse feit moeten controleren.

De Vijfpuntscontrole voor "Truth-Tracking"

Reynolds legt precies uit wat een AI-systeem nodig heeft om een "live verbinding" met de waarheid te hebben. Hij noemt dit een Route Profile (routeprofiel). Stel je voor dat de AI een auto is. Om veilig te rijden heeft hij niet alleen een kaart nodig; hij heeft een bestuurder nodig die de weg kan zien. Reynolds somt vijf kenmerken op die bepalen of de auto daadwerkelijk kan rijden:

1. Target Access (Doeltoegang): Kan het systeem het ding dat het bespreekt daadwerkelijk zien? (Heeft de auto een voorruit?)
2. Detectability (Detecteerbaarheid): Kan het merken of er iets mis is? (Ziet de bestuurder het rode licht?)
3. Checking-Route Independence (Onafhankelijkheid van de controle-route): Is de persoon die het werk controleert anders dan de persoon die het werk uitvoert? (Als de bestuurder ook degene is die de wegwijzers schildert, kan hij zichzelf voor de gek houden. Je hebt een tweede paar ogen nodig.)
4. Attribution (Attributie): Kan het systeem precies vaststellen wat er mis is gegaan? (Zag de bestuurder het rode licht, of voelde hij alleen een hobbel?)
5. Effective Uptake (Effectieve Opname): Kan het systeem zijn gedrag daadwerkelijk aanpassen op basis van wat het heeft gevonden? (Als de bestuurder het rode licht ziet maar toch doorrijdt omdat de remmen kapot zijn, dan is het systeem gefaald.)

Als een AI over alle vijf beschikt, heeft het Corrective Control. Het kan een verse fout opsporen en herstellen. Als het slechts over enkele beschikt, of als de "controle" slechts een herhaling is van dezelfde oude fouten, maakt het niet uit hoe slim het lijkt; het kan de waarheid niet in realtime volgen.

Wat gebeurt er als je hulpmiddelen toevoegt?

Het artikel kijkt naar verschillende manieren waarop mensen proberen AI te verbeteren, zoals het geven van toegang tot het internet (Retrieval), het laten gebruiken van een rekenmachine (Tools), of het laten zien van afbeeldingen (Multimodale Input). Reynolds betoogt dat deze hulpmiddelen alleen helpen als ze een specifiek gat in de vijfpuntschecklist opvullen.

• Retrieval (De Bibliotheek): Als je de AI een live link naar een bibliotheek geeft, wordt het beter in het vinden van oude feiten. Maar als de bibliotheek vol staat met verouderde boeken, blijft de AI nog steeds in het verleden steken. Het helpt bij "record access" (toegang tot verslagen), maar het helpt niet als de AI een fysiek object moet meten.
• Tools (De Rekenmachine): Als de AI code kan draaien of een rekenmachine kan gebruiken, wordt het beter in wiskunde. Maar als het hulpmiddel kapot is of de AI kiest het verkeerde hulpmiddel, dan gokt het nog steeds.
• Multimodal (De Ogen): Als de AI een foto kan zien, wordt het beter in het beschrijven van wat er voor zich staat. Maar een foto zien betekent niet dat de AI de temperatuur van het object op de foto kan meten.

Het artikel suggereert dat het simpelweg toevoegen van meer hulpmiddelen een AI niet automatisch "slimmer" of "waarderachtig" maakt. Het helpt alleen als het specifieke hulpmiddel past bij de specifieke taak. Als je een AI vraat om een vloeistof te meten, zal het geven van een bibliotheek (Retrieval) niet helpen; je hebt een liniaal nodig (Tool). Als je het vraagt om een zonsondergang te beschrijven, zal het geven van een liniaal niet helpen; je hebt ogen nodig (Multimodal).

Het "Octopus" en de "Izzy" Probleem

Het artikel gebruikt twee beroemde gedachte-experimenten om zijn punt te verduidelijken.

• De Octopus: Stel je een octopus voor die in een tank leeft, verbonden met twee eilanden via een kabel. Het kan de mensen op de eilanden horen praten, maar het kan ze niet zien of de wereld aanraken. Het leert om te voorspellen wat ze zullen zeggen. Het kan precies klinken als een mens, maar het heeft geen idee wat de woorden betekenen in de echte wereld.
• Izzy: Stel je een mens voor genaamd Izzy, die sinds de geboorte in een kamer is opgesloten met alleen een tekstscherm. Izzy leert alles van de tekst op het scherm. Izzy kan perfect over de wereld prachten, maar Izzy heeft nog nooit een boom gezien of regen gevoeld.

Reynolds betoogt dat zowel de Octopus als Izzy over "content" (inhoud) kunnen beschikken (ze kennen de woorden), maar dat ze een gebrek hebben aan Corrective Control. Als de wereld verandert, kunnen zij dat niet weten. Ze zitten vast aan de "geërfde" waarheid uit het verleden.

De Kern: Waarom dit ertoe doet

Het artikel beweert niet dat AI "nep" is of dat het niet nuttig kan zijn. Het suggereert dat we voorzichtig moeten zijn met hoe we het vertrouwen.

• Als de taak gaat over geschiedenis of stijl: De "geërfde" kennis van de AI (de kaart) is meestal voldoende. Het kan een geweldig verhaal schrijven of oude feiten samenvatten.
• Als de taak gaat over de echte wereld op dit moment: De AI heeft een "live wire" nodig. Zonder deze verbinding kan de AI vol vertrouwen het verkeerde zeggen, omdat het simpelweg gokt op basis van oude patronen.

Reynolds suggereert dat we niet alleen moeten kijken naar hoe vloeiend een AI klinkt. We moeten kijken naar het Route Profile. Heeft het een live pad naar de feiten? Kan het zijn eigen werk controleren? Als we deze live routes niet in onze AI-systemen bouwen, krijgen we misschien zeer vloeiende antwoorden die volledig losstaan van de realiteit. Het artikel concludeert dat hoewel een AI over "content" kan beschikken, het hebben van "corrective control" een aparte, moeilijkere uitdaging is die specifieke architecturale bruggen tussen de AI en de veranderende wereld vereist.