Addressing the Selection Problem in Explainable AI
Dit artikel identificeert het "selectieprobleem" in Explainable AI, waarbij gebruikers moeite hebben met het kiezen van effectieve uitlegtechnieken door gesiloiseerd onderzoek, en stelt een multi-agent LLM-orkestratietool voor om gebruikersvragen automatisch te vertalen naar de juiste XAI-methode.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de snel evoluerende wereld van kunstmatige intelligentie heeft een stille frustratie de overhand gekregen onder de mensen die deze systemen bouwen en gebruiken. Terwijl machines leren om beslissingen te nemen over alles, van medische diagnoses tot leninggoedkeuringen, is een vakgebied dat bekend staat als 'explainable AI' (uitlegbare AI) ontstaan om mensen te helpen begrijpen hoe die beslissingen worden genomen. Het doel is simpel: een duidelijke reden geven voor de output van een machine, waardoor een 'black box' wordt omgezet in iets transparants. De huidige situatie is echter overvol met tientallen verschillende methoden voor het genereren van deze redenen. Sommige methoden benadrukken welke delen van een afbeelding de computer heeft bekeken, terwijl andere laten zien hoe een kleine verandering in de input de resultaten zou veranderen, of ze halen simpelweg vergelijkbare voorbeelden uit het verleden op om te laten zien hoe het systeem zich gewoonlijk gedraagt. Elke methode beantwoordt een ander soort vraag over de logica van de machine. Het probleem is dat hoewel onderzoekers een uitgebreide toolkit van deze uitlegmethoden hebben gebouwd, de mensen die ze moeten gebruiken vaak voor een gesloten deur staan, onzeker over welke tool ze moeten kiezen of hoe ze om het juiste soort hulp moeten vragen.
Een team onderzoekers aan de Carnegie Mellon University heeft deze verwarring geïdentificeerd als niet slechts een gebruikersfout, maar als een fundamentele tekortkoming in hoe deze systemen zijn ontworpen. Zij noemen het het "selectieprobleem". Naar hun mening dwingt de huidige manier waarop we met uitlegbare AI interageren de gebruiker om hun eigen natuurlijke verwarring te vertalen naar een specifieke technische opdracht voordat ze een uitleg kunnen zien. Stel je een persoon voor die er niet zeker van weet waarom een machine een bepaalde keuze heeft gemaakt; zij denken misschien: "Ik wil weten wat er zou gebeuren als ik dit ene detail zou veranderen," of "Ik moet een voorbeeld zien van een vergelijkbaar geval." In de huidige systemen moet de gebruiker weten dat de eerste gedachte een specifiek type uitleg vereist dat een 'counterfactual' wordt genoemd, en de tweede een 'exemplar'-methode vereist. Ze moeten vervolgens de juiste knop of menuoptie vinden om die specieveke techniek te selecteren. De onderzoekers stellen dat het verwachten dat een gewone persoon de technische namen en capaciteiten van deze verschillende uitlegmethoden kent, een onredelijke en onrealistische eis is. Omdat gebruikers niet betrouwbaar hun eigen vragen kunnen matchen met de juiste technische tool, eindigen ze vaak met uitleg die hun vraag eigenlijk niet beantwoordt, wat leidt tot verwarring of een verkeerd vertrouwen in de machine.
Om dit punt te bewijzen, breken de auteurs de interactie af in een logische sequentie. Ze beginnen met de opmerking dat een model voor kunstmatige intelligentie in essentie een functie is die een input neemt en een output produceert. Een uitleg is simpelweg een proces dat diezelfde input en datzelfde model neemt om een reden te produceren. Cruciaal is dat verschillende uitlegprocessen zijn ontworpen om verschillende structurele vragen te beantwoorden. De onzekerheid van een gebruiker op elk gegeven moment is een specifieke gemoedstoestand, een gat in hun begrip dat zij willen vullen. De onderzoekers laten zien dat voor elk specifiek gat in het begrip slechts een kleine subset van de beschikbare uitlegmethoden daadwerkelijk nuttig zou zijn. Toch zijn het in de systemen die we vandaag de dag gebruiken de gebruikers die de kloof tussen hun natuurlijke taalvraag en de technische methode moeten overbruggen. Het systeem vraagt niet: "Wat probeer je te begrijpen?" Het wacht tot de gebruiker een tool selecteert. Omdat de meeste mensen niet over de technische training beschikken om te weten welke tool bij welke vraag past, kiezen ze vaak de verkeerde. Het resultaat is een systeem dat een antwoord geeft, maar niet het juiste antwoord voor de specifieke behoefte van de gebruiker.
Het artikel stelt een structurele oplossing voor om deze gebroken schakel te herstellen: een systeem dat de vertaling voor de gebruiker afhandelt. In plaats van de gebruiker te vragen een tool te kiezen, vraagt het nieuwe ontwerp de gebruiker om simpelweg hun vraag in gewoon Engels te spreken of te typen. Het systeem gebruikt vervolgens een geavanceerd softwaretool, gebouwd op grote taalmodellen, om naar de onzekerheid van de gebruiker te luisteren en deze automatisch naar de juiste uitlegmethode te leiden. Deze aanpak verschuift de last van de vertaling van de mens naar de machine. Het systeem accepteert de natuurlijke taal van de gebruiker, bepaalt welk soort vraag er gesteld wordt, en selecteert vervolgens de passende uitlegtechniek om het antwoord te geven. Dit maakt een meer vloeiende interactie mogelijk waarbij de gebruiker geen technische vocabulaire hoeft te kennen. De onderzoekers illustreren dit met een prototype ontworpen voor medische beeldvorming. In dit voorbeeld kan een arts een vraag typen zoals: "Ik weet niet zeker waarom het systeem deze scan heeft gemarkeerd," en het systeem zal automatisch bepalen dat de arts een specifiek type visuele uitleg nodig heeft, en vervolgens die specifieke weergave genereren zonder dat de arts ooit de naam van de techniek hoeft te kennen of hoeft te weten waar hij deze kan vinden.
De onderzoekers zijn voorzichtig om dit te presenteren als een voorstel en een formalisering van een probleem, in plaats van een opgeloste crisis. Ze presenteren hun idee als een logische noodzaak op basis van de huidige beperkingen van gebruikersinterfaces, waarbij ze suggereren dat het falen van uitlegbare AI om breed vertrouwen te winnen deels te wijten is aan deze mismatch in de interface. Ze beweren niet een perfect, afgewerkt product te hebben gebouwd, maar eerder een blauwdruk voor hoe toekomstige systemen geconstrueerd zouden moeten worden. Door de taak van het matchen van vragen aan tools van de gebruiker naar het systeem te verplaatsen, stellen ze dat we een effectievere en betrouwbaardere relatie tussen mensen en kunstmatige intelligentie kunnen creëren. Hun werk suggereert dat de weg vooruit niet ligt in het bouwen van meer uitlegtools, maar in het bouwen van betere manieren voor mensen om erom te vragen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.