Aligning Large Language Model Behavior with Human Citation Preferences
Deze studie onderzoekt de discrepantie tussen het citatiegedrag van grote taalmodellen en menselijke voorkeuren door een gedetailleerde dataset te construeren die onthult dat modellen expliciete bronmarkeringen overmatig citeren terwijl ze numerieke en benoemde entiteiten onderciteren, en demonstreert dat Direct Preference Optimization dit gedrag effectief kan kalibreren om beter aan menselijke verwachtingen te voldoen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een gids bent (de AI) die een groep toeristen (de gebruikers) rondleidt door een enorme bibliotheek vol kennis. Jouw taak is om interessante feiten te vertellen. Maar hier komt de crux: als je een bewering doet, moet je je "bonnetjes" laten zien (citaten) om te bewijzen dat je niet zomaar dingen verzint.
De grote vraag die dit artikel stelt is: Hoe beslist de gids welke feiten een bonnetje nodig hebben?
Momenteel zijn AI-modellen als gidsen die de catalogus van de bibliotheek een miljoen keer hebben gelezen, maar niet expliciet hebben geleerd wanneer ze een bonnetje moeten laten zien. Ze laten vaak bonnetjes zien om de verkeerde redenen en missen de bonnetjes die er eigenlijk toe doen.
Hier is een uitsplitsing van wat de onderzoekers hebben gevonden, met behulp van eenvoudige analogieën:
1. Het "Bonnetjes"-probleem
In de echte wereld, als een gids zegt: "Het medicijn geneest de griep," dan wil je direct een doktersverklaring zien. Maar als ze zeggen: "De lucht is blauw," heb je daar waarschijnlijk geen bewijs voor nodig.
De onderzoekers wilden zien of AI-modellen het verschil begrijpen tussen "Ik heb een bonnetje nodig voor dit" en "Dat heb ik niet nodig." Ze bouwden een speciale test met 6.000 zinnen uit Wikipedia (een gigantische online encyclopedie). Ze vroegen menselijke redacteurs: "Als jij de gids was, zou je voor deze zin een bonnetje laten zien?"
Vervolgens vroegen ze de AI-modellen dezelfde vraag en vergeleken de antwoorden.
2. Wat de AI goed deed (Het "Medische" instinct)
Het goede nieuws: De AI-modellen zijn verrassend goed in één specifiek ding. Wanneer een zin over medicijnen of gezondheid gaat, stemt de AI bijna altijd met mensen overeen dat een bonnetje nodig is.
- Analogie: Het is als een gids die weet dat als hij een gevaarlijke klif noemt, hij moet een veiligheidswaarschuwing laten zien. Dat deel krijgen ze goed.
3. Wat de AI fout deed (De "Trainingsdata"-valstrik)
Het slechte nieuws is dat de AI een paar slechte gewoontes heeft geleerd uit zijn trainingsdata (de miljoenen boeken die het heeft gelezen).
De "Rode Vlag" Overreactie: Op Wikipedia plakken redacteurs soms een "Bron vereist"-sticker op een zin. De AI ziet deze sticker en denkt: "Oh, ik moet een bonnetje laten zien!" zelfs als de zin eigenlijk heel simpel is.
- Het resultaat: De AI is tot wel 27% eerder geneigd dan mensen om een bonnetje te tonen, simpelweg omdat hij die sticker zag. Het is als een gids die voor alles een bonnetje laat zien omdat iemand hem ooit heeft verteld dat hij zijn aantekeningen moet controleren. Dit zorgt voor rommel en irriteert de toeristen.
De "Getallen" Blinde Vlek: Mensen weten dat als een zin een specifiek getal bevat (zoals "50% van de mensen" of "in 1999"), er een bonnetje nodig is omdat getallen makkelijk fout kunnen gaan.
- Het resultaat: De AI is 22% minder geneigd dan mensen om een bonnetje te tonen bij zinnen met getallen. Het is als een gids die zegt: "We zijn 5 mijl van de uitgang," en vervolgens vergeet de kaart te laten zien, ook al is dat getal cruciaal.
De "Naam" Blinde Vlek: Op een vergelijkbare manier, als een zin een specifieke naam van een persoon noemt, willen mensen bewijs.
- Het resultaat: De AI is 20% minder geneigd om een bonnetje te tonen bij zinnen met namen. Het is als de gids die een beroemde historische figuur noemt zonder de geboorteakte te laten zien.
4. De oplossing: De gids "Hertrainen"
De onderzoekers realiseerden zich dat de AI de regels niet meegeboren heeft; de AI heeft ze gewoon geleerd van de rommelige trainingsdata. Daarom probeerden ze de AI te "hertrainen" met een methode genaamd Direct Preference Optimization (DPO).
Denk hierbij aan een coach die bij de gids gaat zitten en zegt: "Stop met het tonen van bonnetjes voor de 'Bron vereist'-stickers. Begin met het tonen van bonnetjes voor getallen en namen. Hier zijn voorbeelden van wat mensen echt willen."
De uitkomst:
- De hertrainde AI werd veel beter in het matchen van menselijke voorkeuren.
- Voor de kleinere AI-modellen verbeterde deze "coaching" de nauwkeurigheid met bijna 12%.
- Het bewees dat we AI kunnen leren een betere gids te zijn, maar we moeten ze daar expliciet voor trainen; ze zullen het niet uit zichzelf ontdekken.
De Kernboodschap
AI-modellen worden slimmer, maar ze zijn momenteel slecht in het weten wanneer ze hun feiten moeten bewijzen. Ze zijn te enthousiast met het tonen van bonnetjes voor zaken die dat niet nodig hebben (door de Wikipedia-stickers) en te lui met het tonen van bonnetjes voor zaken die dat wel nodig hebben (zoals getallen en namen).
Echter, dit artikel laat zien dat we dit kunnen oplossen. Door de AI specifiek te leren wat mensen verkiezen, kunnen we ze betrouwbaarder en minder rommelig maken, zodat ze, wanneer ze ook maar een bonnetje laten zien, dat ook echt relevant is.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.