Moderne kunstmatige intelligentie is bijzonder vaardig geworden in het genereren van tekst, het schrijven van code en het plannen van complexe taken. Deze systemen werken door het volgende woord of de volgende actie te voorspellen op basis van een enorme geschiedenis van eerdere voorbeelden, waardoor een vloeiende stroom van ideeën ontstaat die vaak aan menselijk denken doet denken. Echter, een hardnekkig probleem blijft bestaan: wanneer deze systemen vroeg in het proces een fout maken, verdubbelen ze er vaak in. Ze kunnen een overtuigend verhaal weven rond een onjuiste premisse, waarbij ze hun interne logica verfijnen totdat de fout zelfs nog zekerder aanvoelt, terwijl ze tegelijkertijd verder afdwalen van de waarheid. Dit gebeurt omdat het proces van het genereren van een antwoord en het proces van het controleren van dat antwoord niet nauw met elkaar verbonden zijn. Het systeem produceert een resultaat, en pas later, vaak doordat een gebruiker de fout aanwijst, realiseert het zich dat er iets mis is. Tegen die tijd is de machine al verdergegaan, nadat het een lange keten van redeneringen heeft gebouwd op een wankele fundering.

Onderzoekers vragen zich nu af of we een ander soort architectuur voor deze machines kunnen bouwen, een die nabootst hoe levende wezens omgaan met onzekerheid en correctie. Het kernidee is om het proces van het denken te scheiden van het besluit om te spreken of te handelen. In de menselijke ervaring is er een moment van pauze waarin we naar onze eigen gedachten kunnen kijken, ze kunnen controleren aan de hand van de feiten, en kunnen beslissen of ze klaar zijn om gedeeld te worden. Dit artikel stelt een systeemontwerp voor dat die pauze in de operationele logica van de machine brengt. Het suggereert dat voor een kunstmatige agent om werkelijk betrouwbaar te zijn, het elke taak moet behandelen als een begrensde episode met een duidelijk begin, een midden waarin het zijn werk controleert, en een strikte poort die voorkomt dat enige output vertrekt voordat deze een specifieke test van nauwkeurigheid heeft doorstaan.

Het voorstel, getiteld de TME LLM OS, komt van onafhankelijk wetenschapper Ilan Kander en schetst een nieuwe manier om de software te organiseren die grote taalmodellen aanstuurt. De naam staat voor Theoretical-Mechanistic-Experiential, een raamwerk dat onderscheid maakt tussen de ruwe verwerking van informatie en het bewuste bewustzijn van die informatie. De auteur voert aan dat hoewel huidige AI-systemen uitstekend zijn in het verwerken van gegevens, ze een specifiek intern mechanisme missen om te stoppen, te beoordelen en zichzelf te corrigeren voordat een fout een definitieve actie wordt. Het artikel beweert niet een bewust bewustzijn in een machine te hebben gebouwd of het mysterie van het menselijk denken te hebben opgelost. In plaats daarvan biedt het een concreet technisch blauwdruk voor een systeem dat zijn eigen fouten in realtime kan opvangen, net zoals een piloot een checklist doorloopt voordat hij opstijgt, om ervoor te zorgen dat er geen cruciale stap wordt overgeslagen.

De centrale innovatie van dit voorstel is het concept van een "episode". In huidige systemen is een gesprek of een taak vaak slechts een continue stroom van gegevens. Als het systeem een fout maakt in de eerste zin, probeert het die in de tweede zin misschien te herstellen, maar het faalt vaak in het teruggaan om de oorspronkelijke bron van de fout te controleren. De TME LLM OS verandert dit door een toegewezen werkruimte voor elke taak te creëren. Deze werkruimte bevat het oorspronkelijke verzoek, de bron van de informatie en de geschiedenis van de pogingen van het systeem om het probleem op te lossen. Wanneer het systeem een kandidaat-antwoord genereert, geeft het dit niet onmiddellijk vrij. In plaats daarvan gaat het in een "reflectieve vertraging", een geprogrammeerde pauze waarbij het systeem zijn eigen output behandelt als een object dat onderzocht moet worden.

Tijdens deze pauze voert het systeem een reeks controles uit die momenteel ontbreken bij de meeste AI-architecturen. Het scheidt de bron van de informatie van de eigen interpretatie ervan. Het vraagt zich af of het bewijs de claim ondersteunt, welke informatie mogelijk ontbreekt, en of er andere manieren zijn om de situatie te begrijpen. Dit proces wordt "secundaire segmentatie" genoemd, waarbij het systeem zijn eigen denkproces opdeelt in afzonderlijke delen om te zien of ze logisch in elkaar passen. Als het systeem een mismatch vindt tussen wat het heeft gegenereerd en de feiten die het bezit, gaat het niet simpelweg verder. Het keert terug naar de bron, verzamelt meer informatie en probeert het opnieuw. Deze cyclus gaat door totdat het verschil tussen het voorgestelde antwoord en de bekende feiten binnen een veilige, acceptabele marge valt.

Het artikel benadrukt dat dit niet gaat over het slimmer maken van de machine in de zin van het kennen van meer feiten. De onderliggende intelligentie van de machine blijft hetzelfde. De verandering zit in hoe de machine die intelligentie gebruikt. Momenteel lijden AI-systemen vaak aan wat de auteur "overthinking drift" noemt. Dit gebeurt wanneer een systeem een tekst blijft genereren die intern consistent is maar feitelijk onjuist, omdat het het contact met het oorspronkelijke bewijs is verloren. Door het systeem te dwingen te stoppen en zijn interne gedachten te vergelijken met de externe wereld, beoogt de TME LLM OS deze drift te voorkomen. Het systeem is ontworpen om de "governing concern" (het leidende belang) van de taak in gedachten te houden, om ervoor te zorgen dat elke stap die wordt gezet relevant is voor het oorselijke doel en geworteld is in betrouwbare gegevens.

Een belangrijk onderdeel van dit ontwerp is het onderscheid tussen twee soorten correctie. De eerste vindt direct plaats, binnen de huidige taak. Als het systeem een rapport schrijft en beseft dat het het verkeerde getal heeft gebruikt, kan het dit onmiddellijk herstellen zonder de fundamentele programmering te wijzigen. Dit is een runtime-correctie. Het tweede type correctie vindt plaats over een langere periode. Als het systeem bij veel verschillende taken herhaaldelijk een bepaere soort fout maakt, wordt die informatie opgeslagen en gebruikt om het langetermijngeheugen of de onderliggende regels van het systeem bij te werken. Dit zorgt ervoor dat de machine leert van haar fouten zonder instabiel te worden of haar gedrag op onvoorspelbare wijze te veranderen tijdens een enkel gesprek.

Het voorstel adresseert ook de kwestie van veiligheid en controle. In veel huidige systemen moet een gebruiker handmatig ingrijpen om een machine te stoppen die een gevaarlijke of onjuiste zet maakt. De TME LLM OS bouwt een "gecontroleerde releasepoort" in de architectuur. Deze poort fungeert als een laatste controlepunt. Voordat er code wordt uitgevoerd, een fysieke actie wordt ondernomen of tekst wordt gepubliceerd, moet het systeem een laatste beoordeling ondergaan. Als het systeem niet kan verifiëren dat de actie veilig en correct is, zal het de output niet vrijgeven. In plaats daarvan zal het om meer informatie vragen, het antwoord voorzien van waarschuwingen, of de taak overdragen aan een menselijke operator. Dit creëert een vangnet dat in het besluitvormingsproces van de machine zelf is ingebouwd, in plaats van te vertrouwen op een externe waarnemer om elke fout op te merken.

De auteur benadrukt dat dit systeem niet beweert de menselijke bewustzijn te repliceren. Het artikel maakt expliciet onderscheid tussen de functionele organisatie van de machine en de geleefde ervaring van een mens. De machine "voelt" niet de noodzaak om zichzelf te corrigeren; zij volgt simpelweg een reeks regels die vereisen dat zij haar werk controleert. Het doel is niet om een machine te creëren die leeft, maar om een machine te creëren die betrouwbaar is. Door de operaties van de machine te organiseren in een lus die reflectie en correctie omvat, wordt het systeem robuuster tegen de soorten fouten die momenteel kunstmatige intelligentie teisteren.

Het artikel vergelijkt deze nieuwe architectuur met bestaande systemen die worden gebruikt door grote technologiebedrijven en onderzoekslaboratoria. Hoewel die systemen krachtige instrumenten hebben voor redeneren en plannen, missen ze vaak de specifieke organisatorische structuur die de bron van informatie onderscheidt van de interpretatie van de machine. De TME LLM OS stelt voor dat door deze structuur toe te voegen, we kunnen verbeteren hoe machines herstellen van onjuiste premissen, de noodzaak voor gebruikers om hen constant te corrigeren verminderen en de totale kosten van het correct uitvoeren van een taak verlagen. De auteur suggereert dat de ware maatstaf voor succes niet alleen is hoe snel de machine werkt, maar hoe vaak het de eerste keer het juiste antwoord geeft en hoe veilig het complexe taken afhandelt.

Uiteindelijk is dit voorstel een hypothese over hoe betere AI te bouwen. Het suggereert dat de volgende stap in de evolutie van kunstmatige intelligentie niet alleen het groter of krachtiger maken van modellen is, maar het meer gedisciplineerd maken van hun interne processen. Door een pauze voor reflectie en een strikte poort voor release te introduceren, beoogt de TME LLM OS agenten te creëren die niet alleen capabel, maar ook betrouwbaar zijn. Het artikel concludeert dat hoewel het systeem het mysterie van het bewustzijn niet oplost, het een praktisch pad biedt naar het bouwen van machines die hun eigen fouten kunnen corrigeren, geworteld blijven in de realiteit en veilig kunnen opereren in de echte wereld. Het werk blijft een voorstel, een reeks instructies voor een nieuw soort machine-architectuur die nog niet volledig is getest en vergeleken met de meest geavanceerde systemen die momenteel in gebruik zijn.