Beyond Majority Voting: Towards Fine-grained and More Reliable Reward Signal for Test-Time Reinforcement Learning
Dit paper introduceert SCOPE, een nieuw framework voor test-tijd versterkingsleren dat het gebruik van meerderheidsstemming als pseudo-labels verbetert door modelvertrouwen en dynamische subgroepverdeling te integreren, waardoor het betrouwbaardere beloningssignalen genereert en de redeneerprestaties van grote taalmodellen aanzienlijk verhoogt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een groep slimme vrienden hebt die samen een heel moeilijk wiskundeprobleem moeten oplossen. Ze krijgen geen antwoordboekje om te checken of ze gelijk hebben. Hoe weten ze dan wie het juiste antwoord heeft?
In de wereld van kunstmatige intelligentie (AI) proberen we dit probleem op te lossen met een methode genaamd "Test-Time Reinforcement Learning". De oude manier (die in dit artikel TTRL wordt genoemd) werkt als volgt: je laat de AI 32 keer hetzelfde probleem oplossen. Vervolgens telt men gewoon hoeveel keer elk antwoord voorkomt. Als antwoord "B" het vaakst voorkomt (bijvoorbeeld 10 keer), dan denkt de AI: "Oké, B moet wel goed zijn, want de meerderheid zegt het."
Het probleem met de oude manier:
Stel je voor dat 10 van je vrienden allemaal een beetje onzeker zijn en op basis van een gelukje "B" kiezen, terwijl 3 andere vrienden het échte, moeilijke antwoord "D" hebben, maar dat antwoord heel zelfverzekerd en logisch uitleggen. De oude methode kiest dan toch voor "B", omdat er meer mensen voor stemmen. De AI leert dan dat "B" goed is, terwijl het fout is. Dit heet bevestigingsbias (je leert je eigen fouten). Ook is de beloning heel vaag: je krijgt een punt als je bij de meerderheid hoort, maar geen gedetailleerde feedback over waar je precies goed of fout zat.
De nieuwe oplossing: SCOPE
De auteurs van dit paper hebben een slimme nieuwe methode bedacht, genaamd SCOPE. Ze gebruiken twee creatieve trucs om de AI slimmer te maken:
1. Luister naar de "Zekerheid", niet alleen naar het aantal stemmen
Stel je voor dat je een groepje hebt dat een raadsel oplost.
- De oude manier: "Wie heeft het vaakst gezegd dat het antwoord 'B' is? Dan is 'B' goed."
- SCOPE's manier: "Wie heeft het antwoord het zelfverzekerdst uitgelicht?"
SCOPE kijkt niet alleen naar hoeveel keer een antwoord voorkomt, maar ook naar hoe zeker de AI was bij elke stap van het denken. Als een antwoord "D" maar 3 keer voorkomt, maar elke keer met een heel hoge zekerheid en een perfect logisch verhaal, dan wint "D" het van "B" (dat 10 keer voorkomt, maar met twijfel). Het is alsof je luistert naar de expert in de kamer die rustig en zeker spreekt, in plaats van naar de luidruchtige menigte die giswerk doet.
2. De "Kleine Groepjes" (Subgroepen)
Stel je voor dat je 32 vrienden hebt. Als je ze allemaal in één grote kring zet en één antwoord vraagt, kan het zijn dat iedereen hetzelfde foutieve idee heeft (een "echo kamer").
SCOPE doet iets anders:
- Het verdeelt de 32 vrienden in kleine groepjes (bijvoorbeeld 4 groepjes van 8).
- In elk groepje zoeken ze naar hun eigen beste antwoord.
- Groepje 1 denkt misschien dat antwoord A goed is. Groepje 2 denkt dat B goed is. Groepje 3 denkt dat C goed is.
Waarom is dit slim?
Als je ze allemaal in één grote groep had gezet, zouden ze misschien allemaal naar het "veilige" maar foutieve antwoord B hebben gestuurd. Door ze in groepjes te verdelen, krijgen ze de ruimte om verschillende ideeën te verkennen. Het is alsof je een team van detectives in verschillende straten van de stad stuurt in plaats van ze allemaal in één straat te laten lopen. Zo ontdek je meer oplossingen en voorkom je dat ze allemaal in dezelfde fout lopen.
De "Balans" (Pareto-optimalisatie)
De AI moet ook zelf beslissen hoe groot die groepjes moeten zijn.
- Zijn de groepjes te klein? Dan is er te veel ruis en twijfel.
- Zijn de groepjes te groot? Dan worden ze weer te star en denken ze allemaal hetzelfde.
SCOPE gebruikt een slimme "balans-meting" om tijdens het trainen automatisch de perfecte grootte van de groepjes te kiezen. Het zoekt naar het sweet-spot waar je genoeg zekerheid hebt, maar ook genoeg ruimte voor nieuwe ideeën.
Het resultaat
Door deze twee trucjes te combineren (luisteren naar zekerheid en werken in kleine, diverse groepjes), leert de AI veel sneller en beter.
- Op moeilijke wiskundetoetsen (zoals de AIME 2025) is de AI met deze methode 13% beter geworden dan met de oude methoden.
- Het is alsof je van een groepje dat blindelings volgt, verandert in een groepje van kritische denkers die samenwerken om het échte antwoord te vinden.
Kort samengevat:
Deze paper zegt: "Stop met gewoon tellen wie het vaakst gelijk heeft. Luister naar wie het zekerst is, en laat mensen in kleine, diverse groepjes werken zodat ze niet allemaal in dezelfde fout lopen." Dit maakt AI veel slimmer in het oplossen van moeilijke problemen zonder dat er een leraar nodig is om het juiste antwoord te geven.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.