Why This, Not That? Mining User Profiles for Pair-wise Counterfactuals
Dit artikel stelt een nieuwe taak voor voor verklaringen van paarwijze itemrangschikking gebaseerd op de logica van aanbevelingsalgoritmen, waarbij tegenfeitelijk leren wordt gebruikt om specifieke items uit het gebruikersprofiel te identificeren die bepalen waarom het ene item hoger wordt gerangschikt dan het andere.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
We leven in een tijdperk waarin machines constant suggereren wat we moeten kijken, lezen of kopen. Decennialang hebben onderzoekers zich gericht op het beantwoorden van een eenvoudige vraag: "Waarom heeft het systeem juist deze specifieke film aan mij aanbevolen?" Ze hebben manieren ontwikkeld om die enkele keuze te verklaren, vaak door te wijzen naar een kenmerk waar de gebruiker van houdt, zoals een favoriete acteur of een voorkeur voor een bepaald genre. Echter, menselijke besluitvorming vindt zelden plaats in een vacuüm. Wanneer we voor de ene optie kiezen boven de andere, vergelijken we ze vaak zij aan zij. We vragen ons af: "Waarom koos ik deze film in plaats van die andere?" Deze comparatieve vraag is fundamenteel voor hoe we onze eigen voorkeuren begrijpen, maar heeft echter veel minder aandacht gekregen van de ontwerpers van aanbevelingssystemen. Het begrijpen van het verschil tussen twee keuzes is vaak meer onthullend dan het begrijpen van een enkele keuze in isolatie, omdat het de specifieke factoren belicht die de doorslag gaven.
Een team van onderzoekers zette zich in om dit probleem op te lossen door een nieuwe manier te ontwikkelen om uit te leggen waarom een aanbevelingssysteem de ene item hoger rangschikt dan de andere. Ze benaderden de taak door een "wat als"-vraag te stellen: wat zou er moeten veranderen in iemands geschiedenis zodat het systeem de volgorde van deze twee items zou omdraaien? Deze methode, bekend als contrafectuele redenering, zoekt naar de minimale set veranderingen die nodig zijn om een beslissing om te keren. In de context van een film aanbeveling wilden de onderzoekers de specifieke films identificeren die een gebruiker eerder had bekeken, die ervoor zorgden dat het systeem de voorkeur gaf aan een sciencefictionklassieker boven een historisch epos. Als die specifieke eerdere kijkervaringen uit de geschiedenis van de gebruiker zouden worden verwijderd, zou het systeem in theorie eerst het historische epos aanbevelen. Het doel was om de kleinste, meest precieze groep eerdere items te vinden die, indien gewist, de rangschikking zou doen omdraaien.
Om dit idee te testen, bouwden de onderzoekers een nieuw type computermodel dat ontworpen is om als uitlegger te fungeren. Ze trainden dit model op drie grote collecties gebruikersgegevens: één met meer dan een half miljoen filmbeoordelingen, een andere met muziekvoorkeuren, en een derde met pinning-activiteit. Ze testten hun aanpak tegen verschillende bestaande methoden, waaronder technieken die individuele items verklaren of die items vergelijken door naar hun algemene kenmerken te kijken. De onderzoekers ontdekten dat hun nieuwe methode, die leerde om naar het doelitem en het concurrerende item tegelijkertijd te kijken, veel effectiever was. Het kon de specifieke eerdere items die verantwoordelijk waren voor het verschil in rangschikking met grotere nauwkeurigheid identificeren en met minder items dan de andere methoden. In veel gevallen kon het nieuwe model de voorkeur voor het bovenste item boven het tweede item verklaren voor meer dan 80 procent van de gebruikers in hun testgroepen, waarbij vaak slechts het verwijderen van een klein aantal eerdere interacties nodig was om de wisseling te bewerkstelligen.
De studie onthulde ook dat de kwaliteit van deze verklaringen sterk afhangt van het type aanbevelingssysteem dat wordt gebruikt. Wanneer het onderliggende systeem gebaseerd was op een methode die verborgen patronen in gebruikersgedrag leert, presteerde de nieuwe uitlegger uitzonderlijk goed. De onderzoekers merkten echter een complicatie op met betrekking tot populaire items. Soms was de meest effectieve manier om een rangschikking te veranderen het verwijderen van extreem beroemde films of nummers die bijna iedereen heeft gezien. Hoewel dit wiskundig correct is, vermoedden de onderzoekers dat het misschien geen nuttige verklaring is voor een echt persoon. Een gebruiker vertellen: "Je kreeg deze film omdat je Star Wars en Titanic hebt bekeken," kan triviaal of onbehulpzaam aanvoelen, aangezien dat items zijn die bijna iedereen heeft gezien. Om dit te testen, draaiden ze een versie van hun model die de meest populaire items negeerde. Deze versie kon nog steeds verklaringen vinden, maar werkte voor minder mensen, wat suggereert dat populaire items een belangrijke rol spelen in hoe deze systemen beslissingen nemen, zelfs als ze niet het meest interessante deel van het verhaal zijn.
De onderzoekers concludeerden dat hun aanpak succesvol zowel accurate als beknopte comparatieve verklaringen genereert. Ze toonden aan dat door een model te trainen om naar twee items tegelijk te kijken, in plaats van één voor één, ze de specifieke redenen voor een verschil in rangschikking konden blootleggen. De resultaten suggereren dat deze methode een levensvatbare manier is om aanbevelingssystemen transparanter te maken, waardoor gebruikers niet alleen kunnen zien waarom ze een suggestie kregen, maar ook waarom ze de ene suggestie kregen in plaats van de andere. Hoewel het huidige werk zich richt op de technische bekwaamheid om deze verklaringen te genereren, merkten de onderzoekers op dat de volgende stap is om te zien of mensen deze verklaringen daadwerkelijk nuttig en gemakkelijk te begrijpen vinden. Ze zijn van plan om studies met menselijke gebruikers uit te voeren om te bepalen of deze "wat als"-scenario's mensen helpen de keuzes die machines voor hen maken te begrijpen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.