Quantification and object perception in Multimodal Large Language Models and human linguistic cognition
Dit onderzoek toont aan dat, hoewel denkende multimodale grote taalmodellen goed zijn in het ordenen van kwantificatoren en het schatten van aantallen, er nog steeds fundamentele verschillen blijven bestaan met menselijke cognitie op het gebied van gebruiksbereiken en prototypiciteit, wat nieuwe inzichten biedt voor het begrijpen van deze modellen als semantische en pragmatische agenten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Titel: Waarom AI-talen nog niet goed kunnen tellen (en wat dat betekent)
Stel je voor dat je een klas vol slimme robots hebt die alles kunnen lezen en zien. Ze zijn getraind op miljarden boeken en foto's. Maar als je ze vraagt om een foto te bekijken en te zeggen hoeveel er op staan, lopen ze vast. Dit artikel onderzoekt precies waarom dat zo is.
De onderzoekers van de Universiteit Autònoma de Barcelona hebben gekeken naar hoe AI-modellen (zoals de slimme chatbots die we vandaag de dag kennen) omgaan met kwantificatie. Dat is een fancy woord voor woorden als "een paar", "sommige", "veel" en "de meeste".
Hier is de uitleg, vertaald naar alledaags Nederlands met een paar leuke vergelijkingen.
1. Het probleem: De robot die telt, maar niet "voelt"
Mensen zijn heel goed in twee dingen tegelijk:
- Tellen (ongeveer): Als je naar een bak met ballen kijkt, weet je direct of er "een paar" of "veel" in zitten, zonder ze één voor één te tellen.
- Betekenis geven: We weten dat "sommige" niet hetzelfde is als "veel", en dat "de meeste" betekent dat er meer dan de helft is.
De AI's in dit onderzoek kregen foto's te zien met zwarte vierkantjes en witte cirkels. Ze moesten zeggen: "Zijn er een paar vierkantjes, of veel?" en ze moesten ook schatten welk percentage van de foto vierkantjes waren.
De vergelijking:
Stel je voor dat een mens en een robot een taart krijgen.
- De mens kijkt er even naar en zegt: "Dit is een groot stuk, zeker de helft!" (Dat is onze 'ongelijke schatting').
- De robot (de AI) probeert het te berekenen, maar hij kijkt niet echt naar de taart. Hij kijkt naar wat hij eerder heeft gelezen in zijn boeken. Hij zegt misschien: "In boeken staat vaak dat 'veel' betekent dat er veel is, dus ik ga 'veel' zeggen," zelfs als er maar een klein stukje taart is.
2. De twee soorten robots: De "Denker" vs. De "Snelle Lezer"
De onderzoekers testten twee soorten AI-modellen:
- De "Instruct"-modellen (De Snelle Lezers): Dit zijn de standaardmodellen (zoals de gewone versie van GPT-4). Ze reageren snel op basis van wat ze hebben geleerd.
- De "Thinking"-modellen (De Denkers): Dit zijn nieuwere modellen die eerst even "nadenken" (een lange redeneerketen maken) voordat ze antwoorden. Ze zijn getraind om wiskundige problemen op te lossen.
Wat bleek er?
- De Denkers waren veel beter in het tellen van de vierkantjes. Ze konden beter inschatten hoeveel er precies waren. Het was alsof ze een liniaal hadden.
- De Snelle Lezers maakten vaak fouten in het tellen. Ze dachten dat er bijvoorbeeld meer vierkantjes waren dan er echt waren.
Maar hier is de verrassing: Zelfs de Denkers waren nog steeds niet menselijk.
3. Waar lopen de robots vast? (De drie geheimen)
De onderzoekers ontdekten drie dingen waar AI's het moeilijk mee hebben, en waar mensen juist heel goed in zijn:
A. De Ladder van Woorden (Schaal)
Mensen hebben een mentale ladder voor woorden:Een paar < Sommige < Veel < De meeste
Als er 90% vierkantjes zijn, zeggen we "de meeste". Als er 30% zijn, zeggen we "sommige".
- De AI: De Denkers kregen de ladder redelijk goed, maar de Snelle Lezers verwarren de treden. Voor hen kan "veel" soms betekenen dat er maar 10% is, en "de meeste" kan voor hen betekenen dat er 55% is. Ze hebben geen vaststaande regels, maar gissen.
B. De "Typische" Waarde (Prototypen)
Voor mensen heeft elk woord een "perfecte" plek.
- Als je "de meeste" zegt, denk je direct aan iets tussen 90% en 100%.
- Als je "veel" zegt, denk je aan iets tussen 40% en 80%.
- De AI: Voor de robots is "de meeste" vaak al iets van 50% tot 60%. Ze hebben een heel andere "standaard" in hun hoofd. Het is alsof ze een andere taal spreken waar de woorden voor aantallen net iets anders betekenen dan bij ons.
C. De Kleur en Druk (Vooroordelen)
Mensen worden beïnvloed door hoe dicht de objecten bij elkaar staan. Als de vierkantjes heel dicht op elkaar staan, denken we dat er meer zijn dan er echt zijn.
- De AI: De robots reageren hier heel anders op. Ze hebben niet dezelfde "visuele vooroordelen" als wij. Ze kijken puur naar de data, niet naar de "sfeer" van de afbeelding.
4. Werkt het in andere talen?
De onderzoekers keken ook naar het Engels, Spaans, Italiaans, Catalaans, Grieks en Russisch.
- Verrassing: De AI's doen het niet per se beter in het Engels (hun moedertaal).
- Het patroon: De woorden "sommige" en "veel" waren in alle talen het moeilijkst voor de robots. Het lijkt erop dat de AI's geen universeel "menselijk gevoel" voor aantallen hebben, maar dat ze voor elke taal een apart, soms verwarrend, systeem hebben opgebouwd.
Conclusie: Wat leren we hieruit?
Dit onderzoek laat zien dat AI's nog geen echte "denkers" zijn als het gaat om taal en getallen.
- Ze kunnen rekenen (vooral de nieuwe Denkers), maar ze begrijpen niet echt wat de betekenis van woorden als "veel" of "de meeste" is in de echte wereld.
- Ze zijn als een student die de definitie van een woord uit zijn hoofd heeft geleerd, maar nog nooit een taart heeft gezien. Hij weet dat "de meeste" betekent "meer dan de helft", maar hij heeft geen gevoel voor hoeveel dat er echt is.
De grote les:
Om AI's echt slim te maken, moeten we ze niet alleen meer boeken laten lezen, maar ze ook leren hoe mensen de wereld voelen en zien. Tot die tijd blijven ze soms zeggen dat er "veel" is, terwijl er eigenlijk maar een paar zijn.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.