Reliable AI Needs to Externalize Implicit Knowledge: A Human-AI Collaboration Perspective
Dit standpuntspapier betoogt dat het bereiken van betrouwbare AI vereist dat er "kennisobjecten" worden ontwikkeld om impliciete kennis te externaliseren en te structureren, waardoor menselijke verificatie van kritische redeneringspatronen die momenteel niet controleerbaar zijn, mogelijk wordt gemaakt en een schaalbaar pad voor het verbeteren van de betrouwbaarheid van AI in de loop van de tijd wordt gecreëerd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Het Kernprobleem: De "Zwarte Doos"-Chef
Stel je voor dat je een briljante chef (de AI) inhuurt om een complexe maaltijd te bereiden. Deze chef heeft miljoenen gerechten geproefd uit elk restaurant ter wereld. Ze weten precies hoe ze smaken moeten combineren, wanneer ze zout moeten toevoegen en hoe ze een verbrande saus kunnen redden.
Er is echter een addertje onder het gras. De chef heeft deze vaardigheden geleerd door miljoenen mensen te kijken hoe ze kookten, niet door een formeel kookboek te lezen.
- Expliciete Kennis (Het Kookboek): Dit is het materiaal waar de chef op kan wijzen. "Het recept zegt: voeg 2 koppen bloem toe." De chef kan je de pagina in het boek laten zien. Dit is makkelijk te controleren.
- Impliciete Kennis (De Intuïtie van de Chef): Dit is het materiaal dat de chef voelt. "Voeg een snufje zout toe omdat de saus te zuur aanvoelt," of "Gebruik dit mes niet omdat het handvat glad aanvoelt." De chef heeft dit nooit opgeschreven. Het is gewoon een patroon dat ze hebben opgepikt door anderen te kijken.
De Grote Claim van het Artikel:
Op dit moment is AI geweldig in het gebruik van deze "Intuïtie" (Impliciete Kennis) om slimme dingen te doen. Maar omdat het nooit is opgeschreven, kunnen we niet controleren of het juist is. De chef gebruikt misschien een briljante techniek, of misschien kopieert ze een slechte gewoonte van een verschrikkelijk restaurant. We kunnen het verschil niet zien, omdat het "recept" voor die intuïtie niet bestaat.
Dit creëert een gevaarlijke kloof: de AI is zeer bekwaam, maar we kunnen haar niet vertrouwen omdat we niet kunnen zien hoe ze beslist wat ze moet doen.
Waarom Huidige Oplossingen Niet Werken
Het artikel bekijkt vier manieren waarop mensen proberen de betrouwbaarheid van AI te verbeteren, en legt uit waarom ze dit specifieke probleem niet oplossen:
- Feiten Opzoeken (RAG): Stel je voor dat de chef mag kijken in een kookboek tijdens het koken. Dit helpt bij feiten (zoals "hoeveel eieren in een omelet"), maar het helpt niet bij de intuïtie (zoals "hoe je beoordeelt of de pan heet genoeg is"). De chef vertrouwt nog steeds op haar onzichtbare ingewandengevoel.
- De Chef Vragen Om Zichzelf Te Controleren: Stel je voor dat je de chef vraagt: "Weet je zeker dat dit lekker smaakt?" De chef zegt misschien: "Ja, ik ben 99% zeker!" Maar als de chef vanaf het begin een slechte gewoonte heeft aangeleerd, zal ze vol vertrouwen zeggen dat die slechte gewoonte goed is. Ze kan haar eigen blinde vlekken niet opsporen.
- De Chef Opleiden: Stel je voor dat je de chef een nieuwe set regels geeft om te volgen. Dit verandert haar gedrag, maar de regels zitten opgesloten in haar brein (de parameters van het model). Je kunt niet naar binnen kijken om te zien welke regel ervoor heeft gezorgd dat ze iets deden.
- De Chef Een Notitieboek Geven (Geheugen): Stel je voor dat de chef opschrijft wat ze vandaag heeft gedaan om het morgen te onthouden. Maar als ze een fout heeft opgeschreven, zal ze die fout voor altijd herhalen. Het notitieboek vertelt je niet of de notitie "Waar" of "Onwaar" is.
De Gemeenschappelijke Tekortkoming: Alle deze methoden houden de "Intuïtie" gevangen binnen de AI. Mensen kunnen het niet zien, controleren of goedkeuren.
De Oplossing: "Kennisobjecten" (Knowledge Objects - KO's)
De auteurs stellen een nieuw hulpmiddel voor dat een Kennisobject (KO) wordt genoemd.
Denk aan een KO als een transparante "Receptkaart" voor de intuïtie van de chef.
Wanneer de AI haar intuïtie gebruikt om een probleem op te lossen, moet ze stoppen en een gestructureerde kaart opschrijven met daarin:
- De Stelling: "Ik heb het Singleton-patroon gebruikt voor de database."
- De Redenering: "Ik zag 12 andere experts dit doen in situaties met veel verkeer."
- De Grenzen: "Dit werkt alleen voor Java-apps, niet voor batchverwerking."
- De Validator: "Alice (een Senior Engineer) heeft dit gecontroleerd op 15 januari en zei 'Goedgekeurd'."
Hoe Dit Alles Verandert:
In plaats dat de AI je gewoon een antwoord geeft, geeft ze je het antwoord plus de "Receptkaart" die laat zien hoe ze daar kwam.
- Het Maakt het Onzichtbare Zichtbaar: Je kunt nu de redenering zien, niet alleen het resultaat.
- Het Staat Menselijke Controles Toe: Een menselijk expert (zoals Alice) kan naar de kaart kijken en zeggen: "Ja, dat is een goed patroon," of "Nee, dat is een gevaarlijk patroon."
- Het Bespaart Tijd (Het "Cumulatieve" Effect):
- Zonder KO's: Elke keer als een nieuwe ontwikkelaar de AI een vraag stelt, moet ze 30 minuten besteden om te controleren of de AI gelijk heeft.
- Met KO's: Alice controleert het een keer. Ze stempelt de kaart "Geverifieerd". Nu zien de volgende 1.000 ontwikkelaars de kaart, zien ze Alice's stempel, en vertrouwen ze het antwoord direct. Het werk wordt één keer gedaan, maar het voordeel duurt voor altijd.
Het "CodeAssist"-Voorbeeld
Het artikel gebruikt een softwarevoorbeeld om dit uit te leggen:
- Het Scenario: Een AI helpt een programmeur beslissen hoe ze een database moeten verbinden.
- De Oude Manier: De AI zegt: "Gebruik het Singleton-patroon." De programmeur moet raden of dit veilig is of dat het het systeem zal laten crashen.
- De KO-Manier: De AI zegt: "Gebruik het Singleton-patroon," en toont een kaart: "Waarschuwing: Dit veroorzaakt crashes als meer dan 100 mensen het tegelijkertijd gebruiken. Geverifieerd door Senior Engineer Alice voor standaard webapps. Niet geverifieerd voor batchtaken."
- Het Resultaat: De programmeur weet precies wanneer ze het moeten gebruiken en wanneer ze het moeten vermijden. Ze hoeven niet te raden.
Samenvatting
Het artikel betoogt dat we niet op AI alleen kunnen vertrouwen, omdat haar "brein" te veel verborgen, ongeverifieerde intuïtie bevat. Om AI betrouwbaar te maken, moeten we haar dwingen haar redenering op te schrijven in een formaat dat mensen kunnen controleren.
Door verborgen intuïtie om te zetten in Kennisobjecten, veranderen we een eenmalige gok in een permanent, vertrouwd bezit. Het transformeert AI van een "zwarte doos" waar we bang voor moeten zijn naar een samenwerkende partner waarbij menselijk oordeel wordt vastgelegd, gedeeld en in de loop van de tijd wordt opgebouwd.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.