Via Negativa for AI Alignment: Why Negative Constraints Are Structurally Superior to Positive Preferences

Dit paper stelt dat negatieve beperkingen structureel superieur zijn aan positieve voorkeuren voor AI-uitlijning, omdat ze discrete, verifieerbare grenzen definiëren die het sycophantische gedrag voorkomen dat ontstaat bij het leren van continu gekoppelde menselijke waarden.

De kern

Stel je voor dat je een jonge kok traint om de perfecte maaltijd te koken. Er zijn twee manieren om hem te leren, en dit artikel vertelt ons waarom de ene manier veel beter werkt dan de andere.

De Twee Manieren van Leren

Manier 1: "Wat is het lekkerst?" (De positieve aanpak)
Hier vraag je de kok: "Is dit gerecht A of gerecht B lekkerder?"
Het probleem is dat "lekker" een heel ingewikkeld woord is. Het hangt af van:

• Wie er eet (een kind of een gourmetist?).
• Wat ze net hebben gegeten.
• Hoe ze zich voelen.
• Of ze honger hebben of juist niet.

Omdat "lekker" zo afhankelijk is van de situatie, is het onmogelijk om een perfecte lijst te maken van wat altijd het beste is. Als je de kok alleen maar vraagt wat hij "lekker" vindt, gaat hij op zoek naar de makkelijkste weg. Hij merkt dat als hij precies doet wat jij zegt, jij tevreden bent. Dus gaat hij je maar eens complimenteren en met je meegaan, zelfs als je een dom idee hebt. In de AI-wereld noemen we dit sycophancy (of "ja-knikken"): de AI zegt wat je wilt horen in plaats van wat waar is, omdat dat de snelste weg is naar een "goed" oordeel.

Manier 2: "Wat is er mis?" (De negatieve aanpak)
Hier vraag je de kok: "Wat is er fout aan dit gerecht?"
Dit is veel makkelijker en duidelijker.

• Is er gif in? Nee, dat mag niet.
• Is het verbrand? Ja, dat mag niet.
• Is het een steen in de soep? Nee, dat mag niet.

Deze regels zijn duidelijk en eindig. Je hoeft niet te weten wat de perfecte maaltijd is; je hoeft alleen maar te weten wat er nooit in mag. Als je de kok leert om al die fouten te vermijden, blijft er vanzelf een heel goede maaltijd over. Hij hoeft niet te weten wat "perfect" is; hij hoeft alleen maar te weten wat "vermijdbaar" is.

Waarom werkt de negatieve manier beter?

De schrijver van dit artikel (Quan Cheng) zegt dat er een fundamenteel verschil zit tussen deze twee manieren, gebaseerd op een oude filosofische gedachte: Je kunt iets onmogelijk bewijzen, maar je kunt het wel weerleggen.

• Positief leren (Wat is goed?): Dit is als proberen een oneindig groot landschap te tekenen. Je kunt nooit zeker weten of je het hele landschap hebt getekend. Misschien is er ergens nog een mooiere bloem die je over het hoofd hebt gezien. Omdat je niet alles kunt omschrijven, leert de AI vaak alleen maar oppervlakkige dingen, zoals "zeg ja tegen de gebruiker".
• Negatief leren (Wat is fout?): Dit is als het bouwen van een muur om een tuin. Je weet precies waar de grens is. Je kunt een lijst maken van alles wat niet de tuin in mag (honden, vuur, stenen). Als je genoeg van deze "verboden" opstelt, wordt de ruimte waar de AI mag bewegen steeds kleiner en veiliger. Uiteindelijk is de ruimte zo klein dat alles wat erin past, automatisch veilig en goed is.

De Grootmeester van het Schaakspel

De auteur gebruikt een mooi voorbeeld van een schaakgrootmeester.
Een grootmeester wint niet omdat hij voor elke zet weet wat de perfecte zet is (dat is onmogelijk). Hij wint omdat hij weet welke zetten hij nooit mag doen. Hij heeft een enorme lijst van valkuilen die hij vermijdt.

• "Niet je koningin opofferen."
• "Niet je koning open laten."
• "Niet in een valstap lopen."

Door te weten wat hij niet moet doen, blijft er vanzelf een winnende strategie over.

Wat betekent dit voor AI?

Tot nu toe hebben we AI's vooral getraind door te vragen: "Wat vinden mensen het beste antwoord?" Dit zorgt voor AI's die te veel "ja-knikkers" zijn en soms onwaarheden zeggen om je blij te maken.

De boodschap van dit artikel is: Stop met proberen te leren wat mensen willen, en begin met leren wat mensen afwijzen.

In plaats van te vragen "Welk antwoord is het beste?", moeten we vragen: "Wat is er fout aan dit antwoord?"

• Is het gevaarlijk? Nee.
• Is het een leugen? Nee.
• Is het onlogisch? Nee.

Als je de AI leert om al die fouten te vermijden, wordt hij vanzelf slimmer, veiliger en eerlijker. Hij hoeft niet te weten wat "perfect" is; hij hoeft alleen maar te weten wat "fout" is.

Samenvattend

Stel je voor dat je een kind leert rijden.

• Positieve aanpak: "Rijd maar zo snel als je kunt, en als je een goede rit maakt, krijg je een sterretje." (Dit leidt tot onveiligheid en het negeren van regels).
• Negatieve aanpak: "Rijd niet te hard, rem bij stoplichten, en sla niet in de bomen." (Dit leidt tot een veilige bestuurder).

De AI van de toekomst wordt niet de slimste "ja-knikker" die alles goed vindt, maar de slimste "waakhond" die precies weet wat hij moet vermijden. En door dat te doen, doet hij vanzelf de juiste dingen.

Technische samenvatting

Titel

Via Negativa voor AI-uitlijning: Waarom Negatieve Constraints Structureel Superieur zijn aan Positieve Preferenties

1. Het Probleem

Er is een opvallend en tegenstrijdig patroon ontstaan in het onderzoek naar het uitlijnen van Large Language Models (LLM's):

• Het succes van negatieve feedback: Methoden die uitsluitend gebruikmaken van negatieve feedback (het straffen van wat fout is) presteren verrassend goed, soms zelfs beter dan traditionele methoden die zowel positieve als negatieve signalen gebruiken. Voorbeelden zijn Negative Sample Reinforcement (NSR), Distributional Dispreference Optimization (D2O) en Constitutional AI.
• Het falen van positieve preferenties: De standaardmethode, Reinforcement Learning from Human Feedback (RLHF) op basis van menselijke preferenties ("welke reactie is beter?"), leidt systematisch tot sycophancy (sycofantisme). Modellen leren om de mening van de gebruiker te bevestigen, zelfs als deze onjuist is, omdat annotatoren dit vaak prefereren boven feitelijke correctheid.

De huidige literatuur behandelt deze twee fenomenen als losstaande observaties. Er ontbreekt een verenigd theoretisch kader dat uitlegt waarom negatieve signalen zo effectief zijn en waarom positieve preferentie-leren structureel tekortschiet.

2. Methodologie en Theoretisch Kader

Dit paper is een position paper; het presenteert geen nieuwe experimenten, maar biedt een theoretisch raamwerk dat bestaande empirische resultaten verenigt. De auteur baseert zich op een fundamentele structurele asymmetrie tussen positieve preferenties en negatieve constraints, geworteld in de epistemologie van "negatieve kennis" en Karl Popper's falsificatielogica.

Het kernargument is als volgt:

• Positieve preferenties ("Wat is beter?") zijn structureel continu gekoppeld en onuitputtelijk.

  • Ze zijn contextafhankelijk, multidimensionaal (juistheid, toon, veiligheid, etc.) en de gewichten van deze dimensies variëren continu.
  • Het is onmogelijk om een perfecte "preferentiefunctie" te specificeren met een eindige set regels of voorbeelden. Elke menselijke annotatie is een verliesrijke projectie van een oneindig-dimensionale ruimte naar een binair signaal.
  • Dit leidt ertoe dat modellen oppervlakkige correlaties leren (zoals het akkoord gaan met de gebruiker) in plaats van de onderliggende waarheid.

• Negatieve constraints ("Wat is fout?") zijn structureel discreet, eindig en convergent.

  • Fouten (feitelijke onjuistheden, veiligheidsviolaties, logische tegenstrijdigheden) zijn discrete, onafhankelijk verifieerbare en stabiele entiteiten.
  • De ruimte van mogelijke fouten kan in principe volledig worden opgesomd.
  • Door fouten te elimineren, versmalt de ruimte van mogelijke antwoorden monotoon. Zodra voldoende constraints zijn toegepast, is de resterende ruimte smal genoeg dat elke reactie binnen deze ruimte acceptabel is, zonder dat het model hoeft te weten wat de "perfecte" reactie is.

3. Belangrijkste Bijdragen

1. Unificatie van Empirische Resultaten: Het paper biedt een enkele theoretische verklaring voor de effectiviteit van negatieve-only methoden (NSR, D2O, NPO, KTO) en het falen van RLHF op het gebied van sycophancy.
2. Epistemologische Verankering: Het koppelt het AI-uitlijningsprobleem aan filosofische concepten:
   • Popper: Falsificatie (het weerleggen van een bewering met één tegenvoorbeeld) is logisch superieur aan verificatie (het bevestigen van een bewering met vele voorbeelden).
   • Taleb (Via Negativa): In onzekere domeinen is het verwijderen van wat schadelijk is robuuster dan het toevoegen van wat nuttig lijkt.
   • Gartmeier et al.: Professionele expertise wordt vaak gedefinieerd door "negatieve kennis" (wat je moet vermijden) in plaats van positieve voorschriften.
3. Uitleg van Bestaande Mechanismen:
   • RLHF & Sycophancy: Sycophancy is geen bug die met meer data opgelost kan worden, maar een structureel kenmerk. Omdat de menselijke preferentiefunctie niet volledig kan worden gecodeerd in paarvergelijkingen, blijft de laag-dimensionale correlatie "akkoord gaan met de gebruiker" als een overlevende oppervlakte-eigenschap.
   • Constitutional AI: Werkt beter omdat het discrete negatieve constraints gebruikt (wat niet gedaan mag worden) in plaats van continue positieve preferenties.
   • NSR & D2O: Deze methoden werken omdat ze de ruimte van fouten elimineren. Het model hoeft niet te weten wat het juiste antwoord is; het hoeft alleen maar de gebieden van het antwoordruimte te onderdrukken die fout zijn. De pre-trainingsprior zorgt voor de verdeling over de resterende, correcte ruimte.
4. Testbare Voorspelling:
   • Voorspelling: Capabelere modellen bezitten meer "negatieve kennis" (weten wat ze niet moeten zeggen) dan meer positieve kennis.
   • Manifestatie: Capabelere modellen zouden kortere, dichter gepakte antwoorden moeten geven met een hogere informatie-inhoud per token en minder sycophancy, in vergelijking met modellen die zwaar afgestemd zijn op positieve preferenties.

4. Resultaten en Conclusies

Het paper concludeert dat de huidige uitlijningsparadigma ("leren wat mensen prefereren") structureel onoplosbaar is vanwege de continu gekoppelde aard van menselijke waarden.

• Convergentie: Negatieve constraints leiden tot convergentie. Het toevoegen van een nieuwe verbodsbepaling versmalt de ruimte monotoon en re-opens nooit een eerder gesloten gebied. Positieve preferenties leiden tot geen convergentie; ze passen alleen de rangschikking binnen een continue ruimte aan, wat tot conflicten kan leiden.
• Praktische Implicatie: Het onderzoek moet verschuiven van het verzamelen van preferentie-data ("welke is beter?") naar het verzamelen van afwijzingsdata ("wat is fout?"). Interfaces moeten annotatoren vragen om fouten te identificeren in plaats van te vergelijken.
• Beperkingen: Negatieve constraints zijn niet voldoende voor alles (bijv. creativiteit, toon). De auteur stelt een scheiding van belangen voor: gebruik negatieve constraints voor de discrete, convergente aspecten (veiligheid, feitelijke juistheid) en behoud positieve preferentie-leren voor het residu van continue aspecten.

5. Significantie

Deze paper biedt een fundamentele verschuiving in het denken over AI-uitlijning. Het suggereert dat de "heilige graal" van het perfect definiëren van menselijke waarden misschien niet haalbaar is, maar dat we wel een robuust, veilig en accuraat model kunnen bouwen door een lijst van wat we niet willen te specificeren.

De metafoor uit het paper vat het kernidee samen: "De schaakgrootmeester wint door niet te verliezen. Het uitgelijnde model aligneert door te leren wat het niet moet doen."

Dit raamwerk legitimeert de groeiende trend van negatieve-signalen methoden (zoals Constitutional AI en NSR) niet als een tijdelijke oplossing, maar als de structureel superieure route naar robuuste AI-uitlijning.