Odyssey: Constructing Verifiable Local Truth-Preserving Foundation Models
Dit artikel introduceert ODYSSEY, een categorisch kader dat gebruikmaakt van Universal Foundry Learning en Foundry SQL om verifieerbare, lokale waarheid-behoudende fundamentenmodellen te construeren door middel van het componeren van modulaire "foundries" via Kan-extensies, wat rigoureuze argumentatie, diagnostiek en de integratie van heterogene kennisbronnen mogelijk maakt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Het Grote Idee: Van een "Black Box" naar een "Modulaire Fabriek"
Stel je huidige Large Language Models (zoals de modellen waarmee je chat) voor als een reusachtige, verzegelde zwarte doos. Je stopt er een vraag in en er komt een antwoord uit. Je weet niet precies hoe het antwoord is opgebouwd, waar de feiten vandaan kwamen, of waarom het model in de ene situatie "ja" zei en in de andere "nee". Als het model een fout maakt, is het moeilijk te repareren omdat de hele doos in elkaar verstrengeld is.
ODYSSEY stelt een andere manier voor om deze modellen te bous. In plaats van één grote zwarte doos, kun je ODYSSEY zien als een modulaire constructiefabriek (een "Foundry").
In deze fabriek wordt kennis niet in één grote hoop gegooid. In plaats daarvan wordt het gebouwd als een lapjeskwab of een kaart gemaakt van overlappende tegels.
- Lokale Waarheden: Het systeem breekt de wereld af in kleine, specifieke buurten (lokale contexten). In de ene buurt kan een bewering "bewezen" zijn. In de buurtd ernaast kan diezelfde bewering "onbewezen" of "tegensprekend" zijn.
- De Lijm: Het systeem heeft strikte regels voor hoe deze buurten met elkaar verbonden zijn. Als twee buurten overlappen, controleert het systeem of ze het met elkaar eens zijn. Als ze van mening verschillen, dwingt het systeem hen niet om het eens te worden; in plaats daarvan markeert het de onenigheid als een "glitch" of een "geblokkeerd pad" dat menselijke aandacht vereist.
Het doel is om modellen te creëren die verifieerbaar zijn (je kunt het werk controleren) en waarheidsbehoudend (ze liegen niet over wat ze weten of waar hun kennis vandaan komt).
De Vijf Werknemers (De Agents)
Om deze fabriek te laten draaien, gebruikt ODYSSEY vijf gespecialiseerde "agents" (softwarewerkers), vernoemd naar figuren uit de Griekse mythologie. Ze geven een projectbestand van de een naar de ander door, als een lopende band:
SCYLLA (De Vertaler):
- Rol: Zij praat met de mens. Wanneer je een vraag stelt, vertaalt zij je vage verzoek naar een precieze "werkinstructie".
- Analogie: Stel je voor dat je tegen een aannemer zegt: "Ik wil een huis." Scylla vraagt: "Bedoel je een cottage? Een wolkenkrabber? Wat is het budget? Welke materialen?" Zij verandert je wens in een blauwdruk.
HOMER (De Projectmanager):
- Rol: Hij neemt de blauwdruk van Scylla en schrijft de stapsgewijze to-do lijst. Hij beslist welke tools nodig zijn en in welke volgorde.
- Analogie: Hij is de voorman die zegt: "Eerst moeten we het beton storten. Daarna moeten we de bakstenen bestellen. Hier is het schema."
ATHENA (De Architect):
- Rol: Zij ontwerpt de structuur. Zij beslist hoe de verschillende "buurten" van kennis in elkaar passen. Zij stelt de regels vast voor hoe informatie van het ene gebied naar het andere kan bewegen.
- Analogie: Zij tekent de kaart. Zij zegt: "De keuken is verbonden met de eetkamer, maar de keuken is niet direct verbonden met de garage zonder een gang." Zij zorgt dat de logica klopt.
PROMETHEUS (De Bouwer):
- Rol: Hij bouwt het model daadwerkelijk op basis van de plannen van Athena. Hij verzamelt de data, voert de berekeningen uit en creëert het "wereldmodel".
- Analogie: Hij is de bouwploeg. Hij legt de stenen, installeert de leidingen en bouwt de muren. Als hij een probleem vindt (zoals een ontbrekende leiding), schrijft hij een rapport over.
TOULMIN (De Advocaat/Debater):
- Rol: Hij bouwt niet alleen; hij argumenteert. Hij neemt het voltooide model en controleert: "Hebben we bewijs voor deze claim? Is er een tegenargument? Wat zijn de beperkingen?"
- Analogie: Hij is de kwaliteitsinspecteur met een hamer. Hij vraagt: "Je beweert dat deze brug veilig is. Laat me het technisch rapport zien. Wat als het regent? Hier is het bewijs dat jouw claim ondersteunt, en hier is het bewijs dat je claim kan weerleggen."
De Speciale Tools
Het paper introduceert een aantal specifieke tools om dit werkend te maken:
- De Foundry Algebra: Dit is als een set LEGO-instructies. Je kunt een "Storefront"-blok en een "Financial"-blok pakken en ze aan elkaar klikken om een "Retail Company"-model te maken. Je kunt ze niet zomaar willekeurig aan elkaar klikken; de instructies (algebra) vertellen je precies hoe ze passen.
- TICKET (De Beveiliger): Dit is een systeem om nieuwe informatie (zoals een vooraf getraind model van buitenaf) de fabriek in te laten. Het laat het niet zomaar binnen; het controleert het ID, scant de bagage en beslist: "Je mag naar binnen," "Je mag naar binnen maar blijft in de wachtkamer," of "Je bent verbannen."
- FSQL (Foundry SQL): Dit is een speciale taal om vragen over het model te stellen. In plaats van alleen te vragen "Wat is het weer?", kun je vragen: "Toon me de weergegevens voor alleen de buurt waar we een hoge mate van vertrouwen hebben, en verberg de gegevens waar we aan het gissen zijn."
Praktijkvoorbeelden uit het Paper
De auteurs hebben dit systeem getest op verschillende "Foundries" om te bewijzen dat het werkt:
MyFixIt (Reparatiehandleidingen):
- Ze bouwden een model voor het repareren van laptops. In plaats van alleen tekst te lezen, begrijpt het systeem de stappen: "Verwijder de schroef," "Til het onderdeel op," "Controleer de afbeelding."
- Resultaat: Wanneer er werd gevraagd naar een reparatiestap, was dit systeem veel beter in het vinden van het juiste antwoord dan standaard tekstzoekopdrachten, omdat het de actie en het gereedschap begreep, en niet alleen de woorden.
Indus Script (Oud Mysterie):
- Ze pasten dit toe op het nog niet ontcijferde Indusvallei-schrift.
- Resultaat: Het systeem deed alsof het het antwoord wist. Het toonde de verschillende theorieën, waar ze overlappen en waar ze elkaar tegenspreken. Het markeerde de "onbekende" delen expliciet als geblokkeerde paden, in plaats van een vertaling te hallucineren.
TCC 44K (Economische Claims):
- Ze analyseerden 44.000 economische papers over oorzaak en gevolg.
- Resultaat: Het systeem kon je vertellen: "Deze studie zegt dat X de oorzaak is van Y, maar alleen in dit specifieke land, en alleen als je deze andere factor negeert." Het hield de "kleine lettertjes" zichtbaar in plaats van ze weg te poetsen.
IKEA Assemblage:
- Ze testten het op video's van meubelmontage.
- Resultaat: Het systeem controleerde of de video van iemand die een stoel bouwt overeenkwam met de instructies. Als de video een ontbrekend onderdeel of een overgeslagen stap liet zien, markeerde het systeem dit als een "glitch" in plaats van het te negeren.
De Kern van het Verhaal
Het paper beweert dat ODYSSEY een manier is om AI-modellen te bouwen die:
- Transparant zijn: Je kunt precies zien hoe het model is gebouwd en waar de data vandaan komt.
- Eerlijk zijn: Als het model iets niet weet, of als twee stukken bewijs elkaar tegenspreken, geeft het dat toe (door een "obstruction" of "glitch" record aan te maken) in plaats van een antwoord te verzinnen.
- Repareerbaar zijn: Als een deel van het model fout is, kun je alleen die specifieke "buurt" repareren zonder het hele ding opnieuw te hoeven bouwen.
De auteurs zeggen dat dit momenteel een systeem is in de "ontwerpfase". Het werkt goed voor specifieke, gestructureerde taken (zoals reparatiehandleidingen of financiële documenten), maar het is nog geen vervanging voor de enorme, algemene chatbots die we vandaag de dag gebruiken. Het is een nieuwe architectuur voor het bouwen van betrouwbare, controleerbare AI, en geen wondermiddel voor alles.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.