On the Role of Citations in Preference Data
Dit artikel onderzoekt hoe menselijke beoordelaars en open-source LLM's citaties evalueren bij wetenschappelijke vraagbeantwoording, waarbij wordt onthuld dat mensen de voorkeur geven aan diverse maar minder citaties terwijl LLM's citatiegerelateerde voorkeuren vertonen die variëren per model en data, wat daarmee cruciale inzichten biedt voor het verbeteren van de verzameling van voorkeursdata in reward modeling.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de snel evoluerende wereld van kunstmatige intelligentie is een specifiek type taak centraal komen te staan in de manier waarop deze systemen leren en verbeteren: een computer vragen om te kiezen welke van de twee antwoorden beter is. Dit proces, bekend als preferentieleerproces (preference learning), is de motor achter de moderne AI-training. Wanneer een systeem twee verschillende reacties op een vraag genereert, beslist een beoordelaar — of dat nu een menselijke expert is of een ander AI-programma — welke superieur is. Deze keuzes worden vervolgens gebruikt om het oorspronkelijke systeem te leren hoe het zich meer als een vertrouwde expert kan gedragen. Echter, een cruciaal puzzelstukje is onduidelijk gebleven: wanneer deze beoordelaars kijken naar antwoorden die verwijzen naar externe bronnen, ook wel citaties genoemd, waar kijken ze dan precies naar? Waarderen ze het pure aantal bronnen, de variëteit van die bronnen, of de versheid van de informatie? Het begrijpen hiervan is essentieel omdat citaties bedoeld zijn als een schild tegen fabricage, waardoor gebruikers kunnen verifiëren of de AI de waarheid spreekt. Als de systemen die AI trainen niet begrijpen hoe ze deze referenties correct moeten wegen, kunnen de resulterende modellen leren om de verkeerde zaken prioriteit te geven, zoals het vermelden van veel bronnen zonder de kwaliteit te controleren, of het volledig negeren van de geloofwaardigheid van de informatie.
Een team van onderzoekers zette zich af om exact deze vraag te onderzoeken door te kijken naar hoe zowel menselijke experts als kunstmatige intelligentieprogramma's wetenschappelijke antwoorden beoordelen die citaties bevatten. Ze concentreerden zich op een scenario waarin een AI een complexe wetenschappelijke vraag krijgt en een lang, gedetailleerd antwoord geeft dat wordt ondersteund door verwijzingen naar academische artikelen. De onderzoekers verzamelden duizenden van deze paren reacties, waarbij één antwoord werd verkozen boven de andere door menselijke experts, en vroegen vervolgens aan vier verschillende grote taalmodellen om dezelfde keuzes te maken. Om de verborgen regels achter deze beslissingen te begrijpen, gebruikte het team een statistische methode die hen in staat stelde om specifieke kenmerken van de antwoorden te isoleren, zoals het aantal gebruikte citaties, de diversiteit van de bronnen en of de referenties overeenkwamen met de tekst, terwijl zij andere factoren zoals de lengte van het antwoord controleerden.
De studie onthulde een duidelijk en enigszins verrassend patroon in hoe mensen deze reacties beoordelen. Wanneer mensen de wetenschappelijke antwoorden beoordeelden, gaven zij de voorkeur aan reacties die putten uit een grote variëteit aan verschillende bronnen, wat suggereert dat zij waarde hechtten aan breedte en perspectief. Echter, zij gaven ook de voorkeur aan antwoorden met minder citaties in totaal. Dit duidt erop dat hoewel mensen willen zien dat een antwoord goed onderzocht is, zij worden afgeschrikt door reacties die aanvoelen als overvol met een excessief aantal referenties. Bovendien waren mensen er snel bij om antwoorden te bestraffen waarbij de in-tekst referenties niet overeenkwamen met de lijst van bronnen aan het einde, een veelvoorkomende fout die suggereert dat de AI referenties aan het verzinnen is. Interessant genoeg deed de ouderdom van de bronnen er voor menselijke beoordelaars nauwelijks toe; zij toonden geen sterke voorkeur voor nieuwere artikelen boven oudere.
In contrast hiermee gedroegen de kunstmatige intelligentie-beoordelaars zich quite anders, en hun voorkeuren varieerden afhankelijk van welk specifiek model de beoordeling uitvoerde. Hoewel de AI-modellen ook de neiging hadden om van diverse bronnen te houden, vertoonden zij vaak een veel sterkere reactie op het aantal citaties dan mensen deden. Sommige AI-beoordelaars hielden sterk niet van antwoorden met veel citaties, terwijl anderen onverschillig waren. Cruciaal was dat de AI-modellen er niet in slaagden om de niet-overeenkomende referenties op te merken of te bestraffen, wat mensen juist zo problematisch vonden. In plaats daarvan werden de AI-beoordelaars zwaar beïnvloed door oppervlakkige kenmerken, zoals de lengte van de reactie. Verschillende van de modellen gaven consequent de voorkeur aan langere antwoorden, ongeacht of de extra lengte waarde toevoegde of slechts ruimte vulde. Dit suggereert dat zonder specifieke training of toegang tot de werkelijke brondocumenten, deze AI-systemen de citaties niet echt "lezen" om de nauwkeurigheid te verifiëren, maar in plaats daarvan reageren op de visuele of structurele patronen van de tekst.
De onderzoekers ontdekten dat deze verschillen niet slechts kleine eigenaardigheden waren, maar significante divergenties die invloed kunnen hebben op hoe toekomstige AI-systemen getraind worden. Omdat AI-modellen vaak worden gebruikt om data te labelen voor het trainen van andere modellen, kan het vertrouwen op hen zonder begrip van hun specifieke vooroordelen ertoe leiden dat een systeem leert om de voorkeur te geven aan lengte of het aantal citaties boven daadwerkelijke nauwkeurigheid en bronvariëteit. De studie benadrukt dat hoewel AI de menselijke oordeelsvorming op veel manieren kan nabootsen, het een intuïtief begrip mist van wat een referentie geloofwaardig of consistent maakt. De auteurs suggereren dat om betere systemen te bouwen, ontwikkelaars zorgvuldiger moeten zijn over hoe zij preferentiedata verzamelen, door ervoor te zorgen dat menselijke richtlijnen duidelijk zijn over de kwaliteit van citaties en dat AI-beoordelaars ofwel hulpmiddelen krijgen om bronnen te verifiëren, ofwel worden geselecteerd op basis van een diep begrip van hun specifieke vooroordelen. Uiteindelijk dient dit werk als een herinnering dat in de zoektocht naar een betrouwbaardere AI, de details van hoe we de computer vragen om tussen antwoorden te kiezen even belangrijk zijn als de antwoorden zelf.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.