Implicit vs. Explicit Prompting Strategies for LVLMs in Referential Communication
Dit artikel lost tegenstrijdige bevindingen op over het vermogen van LVLM's om efficiënte verwijzende uitdrukkingen te coördineren door aan te tonen dat modellen weliswaar slagen onder expliciete prompting, maar falen in het afleiden van de noodzaak voor communicatieve efficiëntie uit impliciete prompts, wat een fundamentele divergentie tussen menselijke en AI-communicatie onthult.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De Grote Vraag: Leren AI-partners om minder te praten?
Stel je voor dat jij en een vriend een spel spelen waarbij je een specifieke mand moet beschrijven uit een stapel van 18 verschillende manden, zodat je vriend de juiste kan kiezen uit zijn eigen stapel.
In de eerste ronde zeg je misschien: "De mand met het rode handvat en een bloemenpatroon aan de zijkant."
Tegen de vijfde ronde zullen jij en je vriend, als je menselijk bent, waarschijnlijk een geheime afkorting hebben ontwikkend. Je zegt dan misschien alleen nog maar: "De rode bloem," of zelfs gewoon "Rode bloem." Je doet dit omdat je weet dat je vriend begrijpt wat je bedoelt. Dit wordt een "conceptueel pact" genoemd.
Twee recente studies keken naar de vraag of AI-modellen (specifiek Large Vision-Language Models, of LVLMs) dit ook kunnen doen.
- Studie A zei: "Nee, de AI blijft elke keer lange, saaie beschrijvingen geven, zelfs na vijf rondes."
- Studie B zei: "Ja, de AI wordt na verloop van tijd korter en slimmer, net als mensen!"
Dit paper van Peter Zeng en collega's vraagt zich af: Waarom kregen deze twee studies tegenovergestelde antwoorden?
Het Detectivewerk: Het komt door de instructies
De auteurs zetten een gecontroleerd experiment op om dit mysterie op te lossen. Ze realiseerden zich dat de twee studies niet alleen verschillende AI-modellen testten, maar de AI ook verschillende instructies (prompts) gaven.
Denk hierbij aan het geven van aanwijzingen aan een taxichauffeur:
- De "Impliciete" Prompt (stijl van Studie A): De chauffeur krijgt te horen: "Rij efficiënt en wees behulpzaam."
- Resultaat: De chauffeur rijdt efficiënt wat betreft veiligheid en regels, maar neemt nog steeds de lange, schilderachtige route omdat hem niet is verteld dat hij kortere wegen moet nemen. Hij beseft niet dat "efficiënt" in dit specifieke spel betekent "de kortste route".
- De "Expliciete" Prompt (stijl van Studie B): De chauffeur krijgt te horen: "Rij efficiënt. Ik wil dat je de absolute kortste route gebruikt. Gebruik na de eerste paar bochten slechts 1 of 2 woorden voor de richting."
- Resultaat: De chauffeur begint direct af te korten en jargon te gebruiken omdat hij expliciet de opdracht heeft gekregen om dat te doen.
Wat het experiment ontdekte
De auteurs voerden het mandenspel uit met AI-partners met beide soorten instructies.
1. Wanneer gegeven werd welke "impliciete" instructies (Alleen "wees beknopt"):
De AI-modellen waren accuraat, maar ze waren welbespraakt. Ze bleven de manden telkens in volle details beschrijven, precies zoals Studie A vond. Ze ontdekten niet uit zichzelf dat ze kortere codes zoals "Rode bloem" moesten gaan gebruiken. Ze behandelden elke ronde als een nieuw gesprek en negeerden de geschiedenis die ze met hun partner hadden opgebouwd.
2. Wanneer gegeven werd welke "expliciete" instructies (Alleen "wees beknopt" + "gebruik later 1-2 woorden"):
De AI-modellen veranderden hun gedrag volledig. Ze begonnen hun beschrijvingen in te korten, net zoals Studie B vond. Tegen de vijfde ronde gebruikten ze zeer korte zinnen. Het leek alsof ze een "conceptueel pact" hadden gevormd.
De Kanttekening:
De auteurs wijzen op een cruciaal verschil tussen de AI en mensen.
- Mensen verkorten hun spraak omdat ze hun partner begrijpen en een gedeelde connectie voelen.
- AI verkort zijn spraak alleen omdat het de opdracht kreeg. Als je de specifieke opdracht "gebruik 1-2 woorden" verwijdert, keert de AI terug naar het langdradige. Het concludeert niet vanzelf dat "we partners zijn, dus kunnen we kort en bondig zijn."
De Conclusie: Het is een Script, geen Vonk
Het paper concludeert dat de tegenstrijdige resultaten van de vorige studies niet kwamen doordat de ene AI "slimmer" was dan de andere. Het kwam simpelweg doordat de ene studie de AI een script gaf dat dwong om kort te zijn, terwijl de andere studie de AI de ruimte liet om het zelf uit te zoeken.
De Les:
AI kan menselijke efficiëntie imiteren, maar alleen als je de hand vasthoudt en precies vertelt hoe het moet. Het ontwikkelt niet vanzelf de sociale intuïtie om te zeggen: "Hé, we hebben dit al eerder gedaan, laten we het kort houden." Het volgt orders, het bouwt geen relatie op.
Samenvattende Analogie
Stel je twee studenten voor die een toets maken.
- Student A krijgt de opdracht: "Schrijf een goede essay." Zij schrijven een paper van 5 pagina's.
- Student B krijgt de opdracht: "Schrijf een goede essay, maar probeer het onder de 100 woorden te houden." Zij schrijven een samenvatting van 90 woorden.
Als je zou vragen: "Kunnen studenten korte essays schrijven?", dan hangt het antwoord volledig af van welke instructie je hen hebt gegeven. Dit paper bewijst dat de AI niet van nature kiest om kort te zijn; het is alleen kort omdat de docent (de prompt) het zo heeft gezegd.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.