Pairwise Ranking Outperforms Single-Action RL for Offline Explanation Selection: A Practical Lesson

In de wereld van online winkelen en media streaming doen algoritmen meer dan alleen raden wat je misschien leuk vindt; ze proberen steeds vaker uit te leggen waarom. Wanneer een systeem een film of een restaurant suggereert, voegt het vaak een zin of twee toe om de keuze te rechtvaardigen, in de hoop dat dit kleine beetje context vertrouwen opbouwt en je aanzet tot doorklikken. Om deze verklaringen natuurlijk en menselijk te laten klinken, gebruiken veel moderne systemen krachtige computerprogramma's die bekend staan als large language models. Deze modellen zijn als enorme bibliotheken van menselijke teksten die op aanvraag verse tekst kunnen genereren. Deze gemakelijkheid komt echter met een zware prijs. Elke keer dat een gebruiker om een aanbeveling vraagt, moet het systeem een beroep doen op dit enorme programma om een nieuwe verklaring vanaf nul te schrijven. Dit proces kost tijd—vaak honderden milliseconden—en kost geld dat direct meegroeit met het aantal mensen dat de dienst gebruikt. Voor bedrijven die miljoenen verzoeken per seconde afhandelen, worden deze vertraging en deze kosten een significante flessenhals.

Onderzoekers bij Amazon probeerden dit probleem op te lossen door de manier waarop deze verklaringen worden gemaakt te veranderen. In plaats van de computer elke keer een nieuwe verklaring te laten schrijven wanneer een gebruiker een verzoek doet, stelden zij een tweestaps-proces voor. Eerst genereren zij vooraf een grote poel van mogelijke verklaringen terwijl het systeem in rust is. Vervolgens, wanneer een echt verzoek arriveert, kiest een veel kleiner, sneller programma simpelweg de beste optie uit die vooraf gemaakte lijst. Deze aanpak elimineert de noodzaak voor dure, trage computerchips tijdens het werkelijke moment van interactie, waardoor het systeem in minder dan een tiende van een seconde kan reageren. Het team testte deze methode tegen bestaande systemen en ontdekte een verrassende waarheid over hoe het selectieprogramma getraind moet worden. Ze ontdekten dat een traditionele methode voor het rangschikken van items, waarbij paren van opties tegen elkaar worden afgezet, aanzienlijk beter werkte dan de complexere, moderne technieken die vaak in kunstmatige intelligentie-onderzoek worden gebruikt.

De kern van dit werk bestaat uit een eenvoudige maar slimme taakverdeling. De onderzoekers gebruikten twee verschillende soorten large language models om een set kandidaat-verklaringen te genereren voor elke mogelijke combinatie van een gebruiker en een item. Zij creëerden deze kandidaten met zes verschillende schrijfstijlen, variërend van eenvoudige samenvattingen tot complexere redeneringen gebaseerd op eerdere recensies. Dit resulteerde in een bevroren collectie opties voor elk gebruiker-item paar. Op het moment dat een gebruiker een verzoek doet, onderzoekt een lichtgewicht selectorprogramma, dat draait op standaard computerprocessors zonder gespecialiseerde grafische hardware, deze kleine poel en kiest de enkel beste verklaring. Het hele proces is ontworpen om snel en goedkoop te zijn, om de latentie en de kosten van het genereren van nieuwe tekst tijdens de interactie te vermijden.

Om te zien of dit idee werkte, testte het team het op twee verschillende datasets: één die lokale bedrijven zoals restaurants betrof en een andere die films betrof. Ze vergeleken hun nieuwe selector met verschillende bestaande methoden, inclusief systemen die verklaringen in realtime genereren en diverse technieken voor het trainen van kunstmatige intelligentie. Het meest opvallende resultaat kwam voort uit de vergelijking van hoe de selector werd getraind. De onderzoekers testten een groep geavanceerde trainingsmethoden die steunen op trial-and-error, waarbij de computer leert door één optie tegelijk te kiezen en te zien hoe goed deze presteert. Ze testten ook een simpelere, oudere methode die leert door twee opties tegelijk te vergelijken om te beslissen welke beter is.

De resultaten waren duidelijk en consistent. De simpelere methode, die paren kandidaten vergelijkt, presteerde consequent beter dan de complexere trial-and-error benaderingen. Op de dataset van lokale bedrijven behaalde de methode van de paarvergelijking een score van 0,500, waarmee het de beste bestaande systemen met een merkbare marge versloeg. De trial-and-error methoden, die vaak populair zijn in huidig onderzoek, bleven tekortschieten. De onderzoekers verklaarden dat dit gebeurde omdat de methode van de paarvergelijking alle beschikbare informatie in één keer gebruikt. Wanneer het systeem een lijst met kandidaten heeft, waarbij elke kandidaat een bekende kwaliteitsscore heeft, kijkt de methode van de paarvergelijking naar elk van hen om te leren. In contrast hiermee kijken de trial-and-error methoden alleen naar de ene optie die ze op een gegeven moment toevallig hebben gekozen, waarbij ze de kwaliteitsscores van de andere opties die ze hebben gepasseerd negeren. Dit betekende dat de complexere methoden effectief het grootste deel van de nuttige gegevens wegwierpen.

De studie onderzocht ook een andere manier om kandidaten te genereren, namelijk door een kaart van relaties tussen gebruikers, items en andere feiten te gebruiken om paden te traceren en verklaringen te creëren. Hoewel deze methode zeer diverse outputs produceerde die zelden dezelfde zinnen herhaalden, kwam het qua kwaliteit niet in de buurt van de vooraf gegenereerde poel wanneer gemeten aan de hand van de standaard van hoe goed de verklaring overeenkwam met een door een mens geschreven referentie. Dit benadrukte een afruil: de vooraf gegenereerde poel was beter in het matchen van specifieke referentiestijlen, terwijl de padgebaseerde methode beter was in het waarborgen van variatie.

Een ander belangrijk bevinding betrof de keuze van het computerprogramma dat werd gebruikt om de initiële poel van kandidaten te genereren. De onderzoekers testten of het gebruik van een nieuwere, meer geavanceerde taalmodellen om de poel van kandidaten te creëren, de uiteindelijke resultaten zou verbeteren. Ze ontdekten dat hoewel het nieuwere model tekst produceerde die iets gevarieerder en minder repetitief was, dit feitelijk leidde tot een kleine daling in de uiteindelijke kwaliteitsscore. Dit kwam doordat de stijl van het nieuwere model iets afweek van de specifieke stijl van de referentietekst die het systeem probeerde te matchen. Dit suggereert dat het simpelweg upgraden van de generator niet automatisch het hele systeem beter maakt; de selector en de generator moeten samen worden afgestemd, en soms is een iets oudere, meer consistente generator te verkiezen.

De onderzoekers testten ook of het combineren van verschillende trainingsmethoden de prestaties kon verbeteren. Ze probeerden een model dat getraind was met de succesvolle methode van de paarvergelijking vervolgens te finetunen met de trial-and-error benadering. Deze combinatie hielp niet; het maakte de resultaten zelfs iets slechter. Het fine-tuning proces duwde het model weg van de precieze keuzes die het al had geleerd, waardoor het minder zelfverzekerd en minder accuraat werd. Dit negatieve resultaat versterkte het idee dat zodra een model de juiste rangschikking heeft geleerd van dichte data, het toevoegen van complexe reinforcement stappen onnodig en potentieel schadelijk is.

Gedurende de experimenten waren de onderzoekers zorgvuldig om te garanderen dat hun resultaten betrouwbaar waren. Ze voerden hun tests meerdere keren uit met verschillende willekeurige startpunten om te bevestigen dat de rangschikking van de methoden niet slechts een gelukkige toevalstreffer was. De verschillen tussen de best presterende methode en de anderen waren groot genoeg om statistisch significant te zijn, wat betekent dat de conclusie dat de methode van de paarvergelijking superieur is, robuust is. Het gehele systeem, inclusief de tijd om de initiële poel te genereren en de selectors te trainen, kon worden gebouwd op standaard computerhardware voor een zeer lage kosten, ongeveer vijftien dollar aan rekentijd. Op het moment van de interactie met de gebruiker kost het systeem bijna niets, aangezien het alleen een snelle opzoekopdracht in een cache en een eenvoudige berekening vereist.

Dit werk biedt een praktische les voor het bouwen van grootschalige aanbevelingssystemen. Het suggereert dat wanneer het doel is om de beste optie te kiezen uit een lijst met vooraf gemaakte kandidaten, het meest effectieve instrument vaak een rechttoe rechtaan rangschikkingsmethode is die alle beschikbare gegevens gebruikt, in plaats van een complex leersysteem dat slechts enkele opties tegelijk sampleert. Door het zware werk van tekstgeneratie naar een offline fase te verplaatsen en een snelle, efficiënte selector te gebruiken voor de realtime beslissing, kunnen bedrijven kwalitatief hoogwaardige verklaringen aan miljoenen gebruikers leveren zonder de vertraging en de kosten van het genereren van nieuwe tekst voor elke individuele aanvraag. De studie demonstreert dat de meest effectieve oplossing soms niet is om de kunstmatige intelligentie complexer te maken, maar om het probleem zo te structureren dat de beschikbare gegevens vollediger kunnen worden gebruikt.