Technische Samenvatting: Voorkeursleren voor AI-uitlijning: een Causaal Perspectief

Probleemstelling

De uitlijning van Large Language Models (LLM's) met menselijke waarden is sterk afhankelijk van Reinforcement Learning from Human Feedback (RLHF), met name het stadium van beloningsmodellering waarbij modellen leren uit gepaarde voorkeursdata. Huidige benaderingen behandelen dit doorgaans als een statistisch regressieprobleem, waarbij wordt aangenomen dat eenvoudige modellen die op observationele datasets zijn gefit, effectief kunnen generaliseren naar ongezichten prompt-responsparen.

De auteurs betogen echter dat deze optimisme misplaatst is. Observationele voorkeursdata wordt vaak opportunistisch verzameld, waarbij gebruikers zowel prompts genereren als responsen evalueren. Dit creëert een complexe wisselwerking tussen de samplingverdeling van de LLM, latente kenmerken van de tekst en gebruikersspecifieke contexten (bijv. expertise, doelen). Bijgevolg zijn standaard beloningsmodellen vatbaar voor het leren van schijnbare correlaties in plaats van ware causale factoren, wat leidt tot:

1. Causale Misidentificatie: Modellen die zich richten op artefacten zoals lengte of opmaak in plaats van kwaliteit.
2. Voorkeursheterogeniteit: Het niet rekening houden met variërende gebruikersdoelen, wat leidt tot suboptimale prestaties voor specifieke subgroepen.
3. Verwarring (Confounding): Gebruikersspecifieke factoren die zowel het type gegenereerde prompt als het toegewezen voorkeurslabel beïnvloeden, waardoor de aanname van onverwarring (unconfoundedness) die vereist is voor causale inferentie, wordt geschonden.

Methodologie: Een Causaal Kader

Het artikel herformuleert voorkeursleren met behulp van het kader van potentiële uitkomsten uit de causale inferentie.

1. Formele Opzet

• Variabelen: Laat $X$ de prompt zijn, $Y, Y'$ de kandidaat-responsen, en $L \in \{0, 1\}$ het binaire voorkeurslabel.
• Potentiële Beloningen: De auteurs introduceren potentiële beloningen $R(x, y)$ en $R'(x, y')$, die de hypothetische beloning voorstellen die een individu zou toekennen aan elk prompt-respons paar.
• Bradley-Terry-Luce (BTL) Model: De voorkeurskans wordt gemodelleerd als $P((X, Y) \succ (X, Y')) = \sigma(R(X, Y) - R'(X, Y'))$.
• Fundamentele Uitdaging: Alleen de uitkomst voor de waargenomen behandeling $(X, Y, Y')$ is zichtbaar; contrafactuele uitkomsten voor andere paren blijven onwaargenomen.

2. Identificeerbaarheidsaannames

Om potentiële uitkomsten te schatten op basis van observationele data, schetst het artikel drie standaardaannames die zijn aangepast aan deze setting:

• Consistentie: Het waargenomen label komt overeen met de potentiële uitkomst van de toegewezen behandeling.
• Onverwarring (Unconfoundedness): Er bestaan geen onwaargenomen verwarrende factoren (d.w.z. $L \perp (X, Y, Y')$). Het artikel benadrukt dat dit vaak wordt geschonden wanneer gebruikers hun eigen prompts schrijven op basis van hun specifieke doelen ($C$), waardoor een verwarrende factor ontstaat die zowel de promptselectie als de voorkeur beïnvloedt.
• Positiviteit: Elke behandelingscombinatie heeft een niet-nul kans van voorkomen.

3. Latent Treatment Model

Om de hoge dimensionaliteit van natuurlijke taal en de schending van positiviteit in de waarneembare ruimte aan te pakken, stellen de auteurs een Latent Treatment Model voor:

• Latente Factoren ($Z$): Waargenomen teksten worden gemapt naar latente kenmerken $Z = \{Z_X, Z_T\}$.
  • $Z_X$: Prompt-artefacten (bijv. onderwerp, taaktype).
  • $Z_T$: Latente behandelingen (bijv. beknoptheid, feitelijke juistheid) die gezamenlijk worden bepaald door prompt en respons.
• Latente Volledigheid: De beloning hangt alleen af van deze latente factoren, niet van de ruwe tekst.
• Latente Positiviteit: Positiviteit is vereist in de latente ruimte in plaats van de waarneembare tekstruimte. Dit maakt generalisatie naar ongezichten teksten mogelijk als ze dezelfde latente structuur delen als de waargenomen data.

4. Mitigatiestrategieën

Het artikel stelt specifieke architecturale ingrepen voor om verwarring aan te pakken en robuustheid te verbeteren:

• Multihead Architectuur: Scheidt het leren van latente representaties van het voorspellen van beloningen die zijn geconditioneerd op specifieke doelen (bijv. behulpzaamheid versus onschadelijkheid).
• Adversariaal Trainen: Introduceert een adversariaal doel om ervoor te zorgen dat de geleerde latente representatie $\hat{Z}$ invariant is voor het prompttype (bijv. "behulpzaam" versus "onschadelijk" subset), waardoor schijnbare correlaties tussen prompttype en gebruikersdoelen worden verwijderd terwijl causale kenmerken behouden blijven.

Belangrijkste Bijdragen

1. Causale Formulering: Het artikel introduceert een causaal kader voor voorkeursleren, waarbij het probleem expliciet wordt gedefinieerd in termen van interventies en potentiële uitkomsten.
2. Identificatie van Verwarring: Het identificeert en adresseert expliciet verwarring door gebruikersspecifieke doelen (bijv. het expertise-niveau van een gebruiker dat zowel de complexiteit van de geschreven prompt als de voorkeur voor gedetailleerde antwoorden beïnvloedt), een factor die eerder werd over het hoofd gezien in de literatuur over uitlijning.
3. Latent Treatment Kader: Het stelt een model voor waarbij beloningen worden bepaald door latente kenmerken in plaats van ruwe tekst, wat generalisatie onder distributieveranderingen mogelijk maakt via de aanname van latente volledigheid.
4. Empirische Validatie:
   • UltraFeedback Experiment: Toont aan dat standaard BTL-modellen aanzienlijke prestatiedalingen vertonen op Out-of-Distribution (OOD) data wanneer latente factoren (waarheidsgetrouwheid en instructievolging) sterk gecorreleerd zijn in de trainingsdata (schending van latente positiviteit).
   • HH-RLHF Case Study: Met behulp van een uitgebreide dataset met contrafactuele labels tonen de auteurs aan dat wanneer prompttypes en gebruikersdoelen perfect gecorreleerd zijn ($\rho=1.0$), naïeve modellen falen in het generaliseren naar inconsistente voorbeelden. Het voorgestelde Adversarial Multihead model presteert significant beter dan baselines en Multihead-only modellen in deze regimes met hoge verwarring.

Resultaten

• Impact van Latente Positiviteit: In het UltraFeedback experiment nam de nauwkeurigheid van standaardmodellen op OOD-data (waar deze correlatie werd verbroken) aanzienlijk af naarmate de correlatie ($\rho_{tr}$) tussen latente factoren toenam (bijv. van ~64,5% bij $\rho=0$ tot ~57,8% bij $\rho=0.9$).
• Impact van Verwarring: In de HH-RLHF studie faalden alle modellen om te generaliseren naar inconsistente steekproeven wanneer de uitlijning tussen prompttype en gebruikersdoel perfect was ($\rho=1.0$) (nauwkeurigheid < 55%).
• Modelprestaties: Het Adversarial model behaalde consistent de hoogste nauwkeurigheid op inconsistente (OOD) steekproeven bij variërende niveaus van verwarring, wat aantoont dat het ontkoppelen van latente representaties van gebruikersspecifieke doelen de robuustheid verbetert.

Betekenis en Claims

Het artikel claimt dat robuuste beloningsmodellering vereist dat men verder gaat dan statistische associaties naar een causaal perspectief. De auteurs betogen dat:

• Datacollectie Kritiek Is: De huidige praktijk van opportunistische datacollectie introduceert inherente verwarring die de betrouwbaarheid van beloningsmodellen beperkt.
• Interventies Noodzakelijk Zijn: Om de beperkingen van observationele data aan te pakken, moeten toekomstige praktijken verschuiven naar gerichte interventies (bijv. actieve bevraging, verzameling van onderbouwing en gecontroleerde tekstgeneratie) om latente overlap te waarborgen en ware causale factoren te identificeren.
• Generalisatie: Door causaal representatieleren te adopteren en verwarring aan te pakken, kunnen modellen betere generalisatie bereiken naar ongezichten prompts en diverse gebruikerspopulaties, wat essentieel is voor veilige en effectieve AI-uitlijning.

De auteurs blijven bescheiden, met de opmerking dat hun aannames voldoende maar niet strikt noodzakelijk zijn voor identificeerbaarheid, en dat real-world scenario's vaak onwaargenomen verwarrende factoren bevatten die moeilijk direct te meten zijn. Ze positioneren dit werk als een fundamentele stap naar meer rigoureus, causaal bewust voorkeursleren.