Stel je een wereld voor waarin jouw favoriete AI-assistent een briljante student is die net heeft geleerd om een meesterdetective te worden. Deze student kan het internet afzoeken, verbanden leggen tussen verschillende nieuwsberichten en verborgen feiten sneller vinden dan wie dan ook. Maar er is een addertje onder het gras: in het proces van het worden van een superdetective is hij vergeten hoe hij een grappig gedicht moet schrijven, een lastig wiskundig raadsel moet oplossen of gewoon een normaal gesprek moet voeren over zijn dag. Dit is het probleem van "specialisatie" in de wereld van Kunstmatige Intelligentie. Wetenschappers noemen de prijs die je betaalt voor het echt goed worden in één specifieke taak de "alignment tax" (de uitlijningstaks). Het is alsof een chefkok zo geobsedeerd raakt door het perfectioneren van zijn soep dat hij vergeet hoe hij een taart moet bakken. De grote vraag voor onderzoekers is: kunnen we een AI trainen om een wereldklasse zoekexpert te zijn zonder dat hij vergeet hoe hij een behulpzame, veelzijdige vriend is?

Dit is precies wat het team van Tencent Yuanbao wilde oplossen in hun nieuwe technische rapport. Ze hebben een slimme AI-agent gebouwd die ontworpen is om informatie op het web op te sporen, maar ze waren bezorgd dat het trainen van deze agent om zo intensief te zoeken, hem op andere gebieden "dom" zou maken. Om dit op te lossد, hebben ze een slimme tweestaps-trainingsmethode uitgevonden. Eerst leerden ze de AI om een zoekpro in te zijn met behulp van een techniek gena de Reinforcement Learning (versterkend leren), wat lijkt op het laten spelen van een spel waarbij de AI punten krijgt voor het vinden van de juiste antwoorden. Vervolgens, om te voorkomen dat de AI zijn algemene intelligentie verliest, gebruikten ze een methode gena "Cross-Domain Hybrid On-Policy Distillation". Denk hierbij aan het inhuren van vier verschillende genieën als bijlesdocenten—één voor wiskunde, één voor programmeren, één voor logica en één voor wetenschap—om de zoek-expert AI weer te leren hoe hij een veelzijdige student kan zijn. Het resultaat? Een AI die informatie op het web net zo goed kan vinden als de gespecialiseerde versie, en hoewel hij niet op elke enkele test een wiskundig genie werd, herstelde hij het grootste deel van zijn verloren terrein en werd hij zelfs beter dan voorheen op verschillende belangrijke gebieden zoals logisch redeneren en programmeren. Ze hebben het probleem niet alleen opgelost; ze hebben de AI tegelijkertijd slimmer gemaakt op veel gebieden, zonder zijn zoekvaardigheden op te offeren.

De detective die vergat te jongleren

Laten we in het verhaal van de Yuanbao search agent duiken. Stel je voor dat je een robot hebt genaamd "Search-Bot". Je wilt dat Search-Bot de beste is in het vinden van antwoorden op het internet. Dus plaats je hem in een virtuele speeltuin waar hij mysteries moet oplossen door op links te klikken, artikelen te lezen en vragen te stellen. Dit wordt Reinforcement Learning (RL) genoemd. Het is als het trainen van een hond: elke keer dat Search-Bot de juiste informatie vindt, krijgt hij een traktatie (een beloning). Elke keer dat hij verdwaalt, krijgt hij een zachte "nee".

Na een tijdje wordt Search-Bot geweldig in het vinden van dingen. Maar hier komt het vreemde deel: naarmate hij beter wordt in zoeken, begint hij slechter te worden in andere dingen. Hij vergeet hoe hij een simpel wiskundig probleem moet oplossen of een creatief verhaal moet schrijven. De paper noemt dit de Alignment Tax. Het is alsof je elke dag traint op je voetbaltrappen totdat je benen supersterk zijn, maar je bent vergeten hoe je in een rechte lijn loopt omdat je nooit meer geoefend hebt om te lopen. De AI werd zo gespecialiseerd in "zoeken" dat hij zijn "algemene" hersenkracht verloor.

De tweestaps reddingsmissie

Het team van Tencent realiseerde zich dat het niet de oplossing was om Search-Bot alleen maar harder te laten zoeken. Ze hadden een manier nodig om zowel de zoekvaardigheden te behouden als de algemene intelligentie terug te brengen. Daarom bedachten ze een tweetraps trainingsplan.

Fase 1: De Zoek Boot Camp
Eerst namen ze hun basis AI-model (een slim model genaelt Hunyuan3) mee naar de "Search Boot Camp". Hier oefende de AI alleen met zoeken. Het leerde zijn zetten te plannen, tools te gebruiken zoals webzoekopdrachten en beeldzoekopdrachten, en informatie uit verschillende bronnen samen te voegen. Zoals verwacht werd het echt goed in zoeken. Maar, precies zoals de paper voorspelde, begon het zijn grip op wiskunde, wetenschap en logica te verliezen. De "Alignment Tax" sloeg hard toe.

Fase 2: De "Super-Tutor" Mix
Dit is waar de magie gebeurt. In plaats van de AI gewoon te laten blijven falen in wiskunde, bracht het team vier Expert Teachers (expert-docenten) in. Dit waren niet zomaar docenten; het waren supergespecialiseerde AI-modellen getraind op:

1. Wiskunde (het oplossen van complexe vergelijkingen)
2. Programmeren (het schrijven van computercodes)
3. Logica (het oplossen van puzzels en redeneren)
4. Wetenschap (het begrijpen van de natuurlijke wereld)

Het team gebruikte een techniek gena On-Policy Distillation (OPD). Dit is een chique manier om te zeggen: "Laten we de student (Search-Bot) een probleem laten oplossen, en de Expert Teacher laten kijken en zeggen: 'Hé, je deed het op deze manier, maar hier is een betere manier om erover na te denken.'"

Het coole gedeelte is dat ze de AI niet alleen wiskunde óf zoeken leerden. Ze mengden ze samen! In elke trainingssessie oefende de AI met het zoeken naar een feit, en oefende vervolgens onmiddellijk met het oplossen van een wiskundig probleem of het schrijven van code, terwijl hij werd begeleid door de juiste Expert Teacher. Het was als een student die 's ochtends voetbaltraining heeft en 's middags pianoles, waarbij de pianoleraar ook tijdens de voetbaltraining meekijkt om ervoor te zorgen dat de student gefocust en gedisciplineerd blijft.

De Resultaten: Het Beste van Beide Werelden

Het team testte hun nieuwe "Hybride" AI tegen de oude versies. Dit is wat ze vonden:

• De Zoekvaardigheden: De nieuwe AI was net zo goed in zoeken als de versie die alleen maar oefende met zoeken. Sterker nog, op sommige lastige zoektests werd hij zelfs beter! Hij kon nog steeds informatie over het hele web vinden, complexe zoekopdrachten plannen en instructies perfect opvolgen.
• De Algemene Vaardigheden: Dit is de grote overwinning. De AI die alleen met zoeken oefende, was slechter geworden in wiskunde en logica. Maar de Hybride AI? Die herstelde niet alleen naar het normale niveau, maar maakte aanzienlijke verbeteringen op veel gebieden.
  • Op tests voor Logisch Redeneren verbeterde de Hybride AI met een enorme marge (van een score van 33,95 naar 46,90).
  • Bij Programmeeropdrachten ging het van 67,74 naar 74,15, waarmee het zelfs het originele "basis" model versloeg.
  • Bij Wiskundeproblemen herstelde het bijna al het verloren terrein en overtrof het zelfs het originele model op sommige moeilijke benchmarks (zoals AIME25 en Math IMO AnswerBench). Echter, op een paar extreem uitdagende benchmarks zoals Minerva Math en Frontier Science Olympiad bleef het iets onder de prestaties van het originele basismodel.
  • Op Wetenschappelijke benchmarks zag het sterke winsten en bereikte het de hoogste nauwkeurigheid op GPQA Diamond.

De paper laat zien dat de "Alignment Tax" geen permanente prijs is die je moet betalen. Door deze Expert Teachers te gebruiken om de AI te begeleiden terwijl hij zoekt, slaagden ze erin om het meeste van de schade te "ongedaan te maken". De AI hoefde niet te kiezen tussen een detective zijn en een genie zijn; het werd een detective die ook heel goed is in het zijn van een student.

Waarom dit ertoe doet

Je vraagt je misschien af: "En dan? Waarom maakt het ons uit of een AI beter wordt in wiskunde?" Nou, stel je voor dat je jouw AI-assistent vraagt: "Ik bezoek Parijs voor drie dagen. Ik wil de Eiffeltoren en Disneyland zien, maar ik wil niet meer dan 30 minuten reizen tussen de locaties."

Als de AI alleen de "Search-Only" training had gehad, zou hij misschien de locaties vinden, maar dan een verschrikkelijke routeplanner geven die nergens op slaat, of hij zou kunnen vergeten de reistijd correct te berekenen omdat hij te gefocust was op alleen het vinden van de namen van de plaatsen.

Maar met de Hybride training kan de AI:

1. Zoeken naar de locaties en reistijden (door zijn zoekvaardigheden te gebruiken).
2. Redeneren over de geografie en berekenen of het plan binnen jouw 30-minuten regel past (door zijn logica- en wiskundievaardigheden te gebruiken).
3. Schrijven van een duidelijke, vriendelijke en ontspannen reisplanning voor jou (door zijn algemene taalvaardigheden te gebruiken).

De paper suggereert dat deze "Hybride" aanpak de sleutel is tot het bouwen van AI-assistenten die echt nuttig zijn in de echte wereld. Ze moeten in staat zijn om informatie te vinden, ja, maar ze moeten ook slim genoeg zijn om die informatie te gebruiken om problemen op te lossen, verhalen te schrijven en ons te helpen in ons dagelijks leven zonder hun verstand te verliezen.

Het Geheime Recept: Hoe ze het deden

Het team gooide niet zomaar alles in een blender. Ze waren zeer zorgvuldig over hoe ze de Expert Teachers onderwezen. Ze gebruikten een "Curriculum Learning" strategie. Dit betekent dat ze niet begonnen met de moeilijkste, onmogelijke wiskundeproblemen voor de docenten. In plaats daarvan begonnen ze met problemen van gemiddelde moeilijkheid om een sterke basis te leggen, en introduceerden ze vervolgens langzaam de echt moeilijke zaken.

Ze ontdekten dat als ze deze stap oversloegen en gewoon de moeilijkste problemen naar de docenten gooiden, de docenten (en de student-AI) minder goed leerden. Het "Curriculum" hielp de docenten om beter te worden in het uitleggen, wat op zijn beurt de student-AI sneller en slimmer maakte.

De Conclusie

Het Tencent Yuanbao-team heeft ons laten zien dat je niet hoeft te offeren in algemene intelligentie om een gespecialiseerde zoekagent te krijgen. Door Reinforcement Learning (voor zoeken) te combineren met On-Policy Distillation (leren van expert-docenten), hebben ze een AI gecreëerd die zowel een meesterdetective als een briljante allround student is.

Ze bewezen dat de "Alignment Tax" vermeden kan worden. De AI werd niet alleen niet slechter; hij werd zelfs beter in de meeste zaken, herstelde zijn verloren vaardigheden en overtrof zelfs zijn oorspronkelijke zelf op gebieden zoals programmeren en logisch redeneren. Hoewel hij niet elke enkele wiskundewedstrijd won, werd hij een veel capabelere en veelzijdiger assistent in zijn geheel. Het is een beetje alsoom een manier te vinden om een superheld te trainen om te vliegen zonder dat hij vergeet hoe hij moet lopen. En in een wereld waarin we willen dat onze AI behulpzaam, slim en veelzijdig is, is dat een heel belangrijk punt.