Structured Prompts Improve Evaluation of Language Models
Deze studie toont aan dat het integreren van gestructureerde prompt-strategieën in evaluatiekaders zoals HELM de prestaties van taalmodellen significant verbetert en de rangschikkingen op benchmarks verandert, waardoor de keuze van prompts een cruciale factor is voor betrouwbare modelbeoordeling.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De "Vraagstijl" maakt meer uit dan je denkt: Waarom AI-ranglijsten misleidend kunnen zijn
Stel je voor dat je een groep studenten wilt testen om te zien wie de slimste is. Je geeft ze allemaal hetzelfde examen. Maar hier is de truc: je stelt de vragen op drie heel verschillende manieren.
- Manier A: "Wat is 2 + 2?" (Kort en bondig).
- Manier B: "Denk eerst stap voor stap na over wat er gebeurt als je twee appels aan twee appels toevoegt, en schrijf dan het antwoord op." (Met instructies om na te denken).
- Manier C: "Je bent een wiskundig genie in een drukke school. Een leerling vraagt om hulp. Leg uit hoe je tot het antwoord komt en geef dan het antwoord." (Met een verhaal en voorbeelden).
Het blijkt dat sommige studenten bij Manier A slecht scoren, maar bij Manier C fantastisch presteren. Als je alleen kijkt naar Manier A, denk je dat die student dom is. Maar als je Manier C gebruikt, blijkt hij juist een genie.
Dit is precies wat deze studie over kunstmatige intelligentie (AI) ontdekt.
Het Probleem: De "Vaste Vraag"
Momenteel worden AI-modellen (zoals die van Google, OpenAI en anderen) getest op "leaderboards" (ranglijsten) met één vaste manier van vragen stellen. De onderzoekers van deze studie zeggen: "Dat is net als een student alleen testen met een meerkeuzetoets, terwijl ze misschien beter zijn in het schrijven van essays."
De manier waarop je een AI vraagt om iets te doen (de "prompt"), heeft een enorme invloed op hoe slim hij lijkt. Soms is de AI niet per se "slimmer", maar is de vraag gewoon beter gesteld.
De Oplossing: De "Bouwset" voor Vragen
De onderzoekers gebruikten een slim gereedschap genaamd DSPy. Je kunt DSPy zien als een Lego-bouwset voor vragen. In plaats van één statische vraag te gebruiken, bouwen ze verschillende versies:
- Soms vragen ze de AI om eerst te "redeneren" (een denkstap te maken).
- Soms geven ze de AI een paar voorbeelden van hoe het moet.
- Soms geven ze de AI een rol (bijvoorbeeld: "Je bent een dokter").
Wat vonden ze? (De Grote Verassingen)
1. De ranglijst schuift op
Toen ze de AI-modellen testten met deze nieuwe, betere vragen, veranderden de ranglijsten drastisch.
- Voorbeeld: In de oude lijst was Model X de winnaar. Maar met de nieuwe vragen bleek dat Model Y eigenlijk beter was.
- Het is alsof je een marathonwedstrijd hebt, maar je meet de tijd van de renners op een weg met gaten (oude vragen). Als je ze laat rennen op een gladde weg (nieuwe vragen), wint ineens een andere renner.
2. "Denk eerst na" is de superkracht
De grootste winst kwam niet van ingewikkelde algoritmes, maar van één simpele truc: Chain-of-Thought (Ketting van gedachten).
- Dit is alsof je een student niet alleen het antwoord vraagt, maar zegt: "Laat me eerst zien hoe je tot dat antwoord komt."
- Door de AI te dwingen om eerst te "denken" (de stappen op te schrijven), werden ze overal beter. Dit was de belangrijkste factor.
3. Meer is niet altijd beter
De onderzoekers dachten: "Als we heel veel voorbeelden geven en de vraag heel specifiek maken, wordt de AI nog slimmer."
- Resultaat: Nee. Eenmaal dat je de AI vraagt om na te denken, levert het toevoegen van nog meer ingewikkelde instructies nauwelijks extra winst op. De simpele "denk-stap" deed het meeste werk.
4. Kleine modellen kunnen grote modellen verslaan
Een klein, open-source model (zoals een compacte auto) kon met de juiste vragen (de juiste weg) net zo goed presteren als een enorm, duur model (een Formule 1-auto). Als je de kleine auto op de verkeerde weg zet, ziet hij er slecht uit. Maar op de juiste weg? Dan kan hij winnen.
Waarom is dit belangrijk voor jou?
Stel je voor dat een ziekenhuis een AI kiest om diagnoses te stellen. Als ze kijken naar de ranglijst met de "oude vragen", kiezen ze misschien voor model A. Maar als ze de "nieuwe vragen" gebruiken, blijkt dat model B veel beter is in het vinden van fouten.
De conclusie van de studie is simpel:
We moeten stoppen met het testen van AI met één vaste vraag. We moeten AI testen met verschillende manieren van vragen, zodat we een eerlijk beeld krijgen van wat ze écht kunnen.
Het is alsof je een auto niet alleen test op een rechte weg, maar ook op een hobbelbaan, in de regen en op een berg. Alleen dan weet je of hij echt goed is.
Kort samengevat:
- De manier waarop je een AI vraagt, bepaalt hoe slim hij lijkt.
- Vragen om eerst na te denken ("Chain-of-Thought") maakt AI veel slimmer.
- De huidige ranglijsten zijn misschien niet eerlijk; de winnaar kan veranderen als je de vragen anders stelt.
- We moeten AI testen met een verscheidenheid aan vragen, niet maar één soort.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.