Hide&Seek: Learning to Explain in an End-to-End Differentiable Network
Dit artikel introduceert Hide&Seek, een end-to-end differentieerbaar framework voor instance-gewijze featureselectie dat featureselectie en voorspelling gezamenlijk leert zonder informatielekkage door het verwijderen van features te herformuleren als een differentieerbare operatie en de training te stabiliseren door middel van parsimonie-gewicht annealing.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de moderne wereld wordt er steeds vaker van computers gevraagd om beslissingen te nemen die menselijke levens beïnvloeden, van het goedkeuren van leningen tot het diagnosticeren van ziekten. Deze systemen, vaak black-boxmodellen genoemd, zijn krachtig omdat ze complexe patronen kunnen vinden in enorme hoeveelheden gegevens, maar ze zijn ook opaak. Ze kunnen ons het antwoord geven, maar ze leggen zelden uit hoe ze tot dat antwoord zijn gekomen. Om deze systemen te vertrouwen, moeten wetenschappers en beleidsmakers begrijpen welke specifieke stukjes informatie de computer heeft gebruikt om zijn beslissing te nemen. Dit is het vakgebied van feature selection (kenmerkselectie): de kunst van het identificeren van de belangrijkste variabelen in een dataset. Waar eerdere methoden zochten naar kenmerken die belangrijk waren voor een hele groep mensen, richt een recentere en noodzakelijke aanpak zich op individuele gevallen. Een kenmerk dat belangrijk is voor de ene patiënt, kan irrelevant zijn voor een ander, net zoals een specifiek symptoom bij de één op een hartaanval kan wijzen, terwijl het bij een ander een teken van angst kan zijn. De uitdaging was om een systeem te bouren dat dynamisch voor elk individu kan beslissen welke feiten werkelijk relevant zijn zonder aan nauwkeurigheid in te boeten of zichzelf te misleiden.
Onderzoekers aan de University of Technology Sydney hebben een nieuwe methode ontwikkeld genaamd Hide&Seek om dit probleem op te lossen. Hun werk pakt een subtiele maar cruciale fout aan die werd gevonden in eerdere pogingen om computers te leren zichzelf uit te leggen. In eerdere systemen probeerde de computer een beslissing te verklaren door bepaalde stukjes informatie tijdelijk uit de input te verwijderen, vergelijkbaar met het afdekken van delen van een foto om te zien of het beeld nog steeds zinvol is. Als de computer de uitkomst nog steeds correct kon raden nadat een stukje informatie was afgedekt, werd dat stukje als onbelangrijk beschouwd. Echter, de onderzoekers ontdekten dat deze systemen vaak leerden om gebruik te maken van het specifieke patroon van de "afdekking" zelf. Bijvoorbeeld, als een stukje data altijd met een nul werd vervangen wanneer het als onbelangrijk werd beschouwd, leerde de computer dat het zien van een nul een specifiek type situatie betekende, waardoor het de afwezigheid van data effectief gebruikte als een geheime code om zijn voorspelling te doen. Dit betekende dat het systeem niet daadwerkelijk de belangrijke kenmerken identificeerde; het had simpelweg de regels van zijn eigen spel geleerd.
Om dit te repareren, heeft het Hide&Seek-team de manier waarop de computer met ontbrekende informatie omgaat, herontworpen. In plaats van een verwijderd kenmerk te vervangen door een vaste waarde zoals nul, vervangen zij het door een willekeurige waarde die afkomstig is uit de natuurlijke distributie van die data. Stel je een systeem voor dat de huizenprijzen probeert te voorspellen. Als het de functie "aantal slaapkamers" verwijdert, zouden eerdere methoden dit door nul te vervangen, wat een duidelijk signaal is dat de data ontbreekt. Hide&Seek vervangt het echter door een willekeurig getal dat lijkt op een plausibel aantal slaapkamers dat in het echte leven voorkomt. Dit maakt het voor de computer onmogelijk om het verschil te zien tussen een echt aantal slaapkamers en een vervangen exemplaar, waardoor het gedwongen wordt om alleen te vertrouwen op de kenmerken die het heeft besloten te behouden. Deze aanpak voorkomt dat het systeem de gaten in de data gebruikt als een kortere weg.
De onderzoekers introduceerden ook een trainingsstrategie die de prioriteiten van de computer in de loop van de tijd verandert. Aan het begin van het leerproces krijgt het systeem de opdracht om zich volledig te concentreren op het correct maken van de voorspelling, zelfs als het veel kenmerken gebruikt. Naarmate de training vordert, wordt het systeem geleidelijk aangemoedigd om minder kenmerken te gebruiken, om te leren efficiënter en nauwkeuriger te zijn. Deze twee-fasen-aanpak helpt de computer om niet vast te lopen in een slechte oplossing waarbij het te veel onnodige details gebruikt. Het resultaat is een model dat niet alleen sneller te trainen is dan zijn voorgangers, maar ook nauwkeuriger in het identificeren van de werkelijke drijfveren van een beslissing.
Bij tests in uiteenlopende scenario's, van synthetische data die ontworpen zijn om het systeem te misleiden tot echte creditcardgegevens en medische gegevens, presteerde Hide&Seek consequent beter dan bestaande methoden. In experimenten met "switch"-kenmerken — variabelen die de regels van het spel veranderen afhankelijk van hun waarde, zoals temperatuur die bepaalt of een winkel warme chocolademelk of ijsthee verkoopt — faalden oudere methoden er ongeveer de helft van de tijd in om de switch als belangrijk te identificeren. Ze werden misleid door het patroon van de ontbrekende data. Hide&Seek identificeerde deze cruciale switches daarentegen bijna elke keer correct. Het systeem bleek ook robuust bij het werken met sterk gecorreleerde data, waarbij veel variabelen samen bewegen, een situatie die algoritmen vaak in verwarring brengt. In tests met afbeeldingen van handgeschreven cijfers slaagde de methode erin de specifieke streken te benadrukken die een drie van een acht onderscheiden, terwijl andere methoden verspreide en inconsistente resultaten produceerden.
De implicaties van dit werk reiken verder dan alleen het maken van betere algoritmen. Door ervoor te zorgen dat de verklaringen die deze systemen geven echt zijn en niet het resultaat zijn van verborgen kortere wegen, biedt Hide&Seek een betrouwbaardere manier om in de black box te kijken. Dit is cruciaal voor velden zoals de geneeskunde en de financiële sector, waar het begrijpen van het "waarom" achter een beslissing even belangrijk is als de beslissing zelf. De onderzoekers hebben aangetoond dat door de manier waarop informatie wordt verborgen tijdens het leerproces te veranderen, zij de computer kunnen voorkomen dat deze het systeem bespeelt. Dit maakt een eerlijkere en transparantere interactie mogelijk tussen menselijke besluitvormers en de kunstmatige intelligentietools waarop zij vertrouwen, waardoor wordt gewaarborgd dat de redenen voor een voorspelling gebaseerd zijn op de werkelijke data, en niet op de artefacten van de methode die gebruikt is om de data te analyseren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.