Where Norms and References Collide: Evaluating LLMs on Normative Reasoning
Dit artikel introduceert SNIC, een door mensen gevalideerde testomgeving voor het evalueren van Large Language Models op het gebied van normgebaseerde referentie-resolutie, wat onthult dat zelfs state-of-the-art modellen moeite hebben met het consistent identificeren en toepassen van impliciete sociale normen die essentieel zijn voor gesitueerde, belichaamde interacties.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je in een drukke keuken staat met een vriend. Je vraagt: "Kun je me een mok aanreiken?" Er staan drie mokken op het aanrecht: één is glanzend schoon, en twee zitten onder de gedroogde koffievlekken.
Als je een mens bent, weet je instinctief dat je vriend de schone mok aan je zal geven. Je hoeft niet te zeggen "de schone", omdat jullie beiden een ongeschreven regel delen: Drink niet uit de vieze beker van iemand anders. Deze onzichtbare regel is een sociale norm.
Dit artikel, getiteld "Where Norms and References Collide," stelt een eenvoudige maar lastige vraag: Kan moderne AI (specifiek Large Language Models of LLM's) begrijpen welke mok je bedoelt zonder dat dit expliciet wordt gezegd?
Hier is de uiteenzetting van hun bevindingen, gebruikmakend van enkele alledaagse analogieën:
Het Probleem: De "Blinde Vlek" van de AI
Beschouw een LLM als een zeer intelligente student die bijna elk boek in de bibliotheek heeft gelezen. Ze zijn geweldig in het beantwoorden van algemene kennisvragen en het oplossen van logische puzzels. Echter, deze student heeft nooit echt in een keuken, een bibliotheek of een restaurant geleefd. Ze weten wat een "mok" is, maar ze hebben de subtiele, ongeschreven regels niet geleerd over hoe mensen zich op die plekken gedragen.
De onderzoekers noemen deze ontbrekende vaardigheid Norm-Based Reference Resolution (NBRR). Het is het vermogen om naar een rommelige scène te kijken, de "sociale grammatica" (de regels van gedrag) te begrijpen en te raden waar iemand naar wijst.
Het Experiment: Het Bouwen van een "Norm-valstrik"
Om dit te testen, creëerde het team een dataset genaamd SNIC (Situated Norms in Context).
- De Opzet: Ze creëerden 9.000 kleine verhalen (vignetten) over alledaagse taken zoals schoonmaken, serveren van eten of opruimen.
- De Valstrik: In elk verhaal stelden ze een vraag die ambigu leek. Bijvoorbeeld: "Pak de bord op."
- Scenario A: De kamer wordt schoongemaakt. De AI zou het vuile bord moeten oppakken.
- Scenario B: De kamer wordt bediend. De AI zou het schone bord moeten oppakken.
- De Menselijke Test: Voordat ze de AI zouden vertrouwen, lieten ze 210 echte mensen deze puzzels oplossen. De mensen waren het grotendeels eens over het "normatieve" antwoord (bijv. "Pak het vuile op omdat we aan het schoonmaken zijn"), wat bewees dat de regels duidelijk waren voor mensen.
De Resultaten: De AI Raakt Verdwaald Zonder Kaart
De onderzoekers testten verschillende topmodellen (zoals GPT-4, Llama en Phi) op deze 9.000 verhalen. De resultaten waren alsof je een GPS probeert te laten navigeren door een stad die hij nog nooit heeft bezocht:
- De "Gokspel"-fout: Wanneer de AI alleen de geschiedenis kreeg en werd gevraagd het juiste object te kiezen, had de AI moeite. Het gaf minder dan de helft van de tijd het juiste antwoord. Het kon vaak het verschil niet zien tussen een "schoonmaaktaak" en een "serveertaken" omdat het de norm achter de taak niet begreep.
- De "Formele Taal" Doodlopende Weg: De onderzoekers probeerden de AI een superprecieze, wiskundige beschrijving van de scène te geven (met behulp van een codetaal genaamd Prolog) om alle ambiguïteit weg te nemen. Verrassend genoeg hielp dit niet veel. Het is alsof je een chauffeur een perfecte kaart geeft, maar zegt: "Je kent de verkeersregels nog steeds niet." De AI kende de feiten, maar kende nog steeds niet de verkeersregels.
- Het "Spiekbriefje" Succes: Wanneer de onderzoekers de AI expliciet een lijst met regels gaven om te volgen (bijv. "Regel: Bij een schoonmaaktaak, pak vuile voorwerpen op"), schoot de prestatie van de AI omhoog. Plotseling kreeg de AI de antwoorden goed.
De Belangrijkste Conclusie
De paper concludeert dat huidige AI-modellen als uitstekende encyclopedieën maar slechte buren zijn.
- Ze weten wat een mok is.
- Ze weten wat schoonmaken is.
- Maar ze weten niet inherent hoe mensen mokken gebruiken in een sociale context, tenzij je de regel expliciet aan hen vertelt.
De auteurs stellen dat dit een "blinde vlek" is. AI-modellen worden getraind op tekst, maar sociale normen zijn vaak impliciet (nooit opgeschreven) en fysiek gegrond (verbonden aan real-world objecten en acties). Omdat deze regels niet altijd duidelijk in boeken staan, mist de AI ze.
Waarom Dit Ertoe Doet (Volgens het Papier)
Het papier suggereert dat als we willen dat robots of AI-assistenten in echte huizen of kantoren werken, ze deze onzichtbare sociale regels moeten leren. Momenteel kunnen ze je een vuile mok aanreiken als je om een drankje vraagt, niet omdat ze "dom" zijn, maar omdat ze het ongeschreven sociale contract niet hebben geleerd dat zegt: "Dat doen we niet."
Kortom: Het papier bouwde een test om te zien of AI de "ongeschreven regels" van het dagelijks leven begrijpt. Het kwam tot de conclusie dat hoewel AI slim is, het momenteel slecht is in het raden wat we bedoelen wanneer we vertrouwen op die ongeschreven regels, tenzij we de regels eerst voor het eerst expliciet uitleggen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.