💬 NLP

Interactor: Agentic RL oriented Iterative Creation for Ad Description Generation in Sponsored Search

Dit artikel introduceert Interactor, een agentic reinforcement learning-framework dat advertentiebeschrijvingen in sponsored search iteratief verfijnt via interacties met meerdere beurten met generatieve beloningsmodellen, waarbij de kennisrijkdom en de consistentie met de landingspagina aanzienlijk worden verbeteren terwijl een succesvolle online implementatie wordt bereikt.

Oorspronkelijke auteurs: Penghui Wei, Jiayu Wu, Chao Ye, Zhi Guo, Shuanglong Li, Lin Liu

Gepubliceerd 2026-06-16

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Penghui Wei, Jiayu Wu, Chao Ye, Zhi Guo, Shuanglong Li, Lin Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een limonadekraam runt, maar in plaats van alleen maar "Limonade!" te roepen (wat vergelijkbaar is met een advertentietitel), heb je een groot, gedetailleerd menubord waarop je kunt uitleggen waarom jouw limonade speciaal is.

Dit artikel introduceert een nieuw systeem genaamd INTERACTOR dat fungeert als een superintelligente, zelfcorrigerende marketingassistent om die lange, gedetailleerde beschrijvingen voor zoekadvertenties te schrijven.

Zo werkt het, onderverdeeld in eenvoudige concepten:

1. Het Probleen: De "One-Shot" Fout

De meeste huidige AI-tools proberen een advertentiebeschrijving in één keer te schrijven, zoals een student die een toets maakt zonder kladpapier. Ze krijgen het soms goed, maar maken vaak twee grote fouten:

Ze verzinnen dingen: Ze kunnen zeggen dat je limonade "biologische citroenen" gebruikt terwijl je leverancier alleen gewone verkoopt (dit wordt ongetrouw genoemd aan de landingspagina).
Ze zijn te vaag: Ze kunnen alleen zeggen "Het smaakt lekker" in plaats van uit te leggen dat de citroenen bij zonsopgang met de hand zijn geplukt (het missen van wereldkennis).

Omdat de AI de reactie van de gebruiker niet direct kan "zien", blijft het steeds dezelfde fouten maken.

2. De Oplossing: De "Coach en Speler" Lus

INTERACTOR verandert het spel. In plaats van een one-shot toets, verandert het het schrijven van advertenties in een meerdere-beurten gesprek tussen een Speler (de AI die de advertentie schrijft) en een Coach (een set gespecialiseerde AI-beoordelaars).

Hier is de stapsgewijze lus:

De Speler maakt een concept: De AI schrijft een eerste versie van de advertentie.
De Coach beoordeelt het: De Coach geeft niet alleen een score (zoals "8/10"). De Coach fungeert als een strenge redacteur met een rode pen. Het zegt:
- "Je beweert 'gratis verzending', maar je website zegt 'leverkosten van toepassing'. Dat is een leugen. Pas het aan."
- "Je hebt niet vermeld dat zwarte sesam helpt bij de gezondheid van het haar, wat is waar de gebruiker eigenlijk naar vraagt. Voeg dat toe."
De Speler verfijnt: De AI leest de aantekeningen van de Coach, denkt erover na en schrijft de advertentie opnieuw om de specifieke fouten te herstellen.
Herhalen: Dit gebeurt meerdere keren totdat de advertentie perfect is.

3. Het Geheime Recept: "Agentic RL"

Het artikel noemt dit Agentic Reinforcement Learning. Denk aan het trainen van een hond, maar de hond is slim genoeg om te begrijpen waarom hij een beloning of een correctie krijgt.

Traditionele RL: De AI krijgt een "Goed gedaan!" of "Slecht gedaan!" signaal. De AI raadt wat de volgende stap is.
INTERACTOR (Agentic RL): De AI krijgt redeneringsfeedback. Het weet precies welke zin fout was en waarom. Dit zorgt ervoor dat de AI veel sneller leert en veel betere beschrijvingen schrijft.

4. De Resultaten: Van "Fluff" naar "Feiten"

Het artikel testte dit op echte gegevens van de zoekmachine Baidu.

Voorheen: AI-advertenties waren vaak "fluffy" (vol met lege woorden) of "hallucineerden" (verzonnen feiten).
Nadien: Het INTERACTOR-systeem produceerde advertenties die:
- Kennisrijk waren: Ze beantwoordden daadwerkelijk de vraag van de gebruiker met echte feiten.
- Getrouw waren: Ze hielden zich strikt aan wat de website van de adverteerder daadwerkelijk aanbood.
- Meer clicks genereerden: Omdat de advertenties beter waren, klikten meer mensen erop en verdiende het bedrijf meer geld.

5. Impact in de echte wereld

Het artikel stelt dat dit systeem sinds mei 2026 live draait op een grote zoekmachine. Het is niet alleen een theorie; het helpt momenteel adverteerders om betere advertenties te schrijven en helpt gebruikers om relevantere informatie te vinden, terwijl het tegelijkertijd de omzet van de zoekmachine verhoogt.

In een notendop: INTERACTOR is alsof je een AI-schrijver een team van deskundige redacteuren geeft die niet alleen het werk beoordelen, maar ook gaan zitten om de schrijver te helpen elke enkele fout te herstellen totdat de advertentie perfect is.

<thought> tags, gebruikt om context te begrijpen en te plannen.

Respons: Omsloten in specifieke tags, die echte acties vertegenwoordigen:
- <retrieve>: Vraagt een zoekmachine om relevante wereldkennis te injecteren.
- <create>: Genereert of verfijnt de advertentiebeschrijving.
- <reward>: Vraagt om evaluatie van beloningsmodellen.

2. Aangepaste Omgeving

De omgeving biedt observaties en beloningen via twee hoofdcomponenten:

Generatieve Beloningsmodellen (GenRMs): In tegenstelling tot scalaire beloningsmodellen, zijn dit op rubrieken gebaseerde modellen (geïmplementeerd als frontier black-box LLM's) die specifieği kwaliteitsdimensies evalueren:
- Kenniscapaciteit: Controleert of de beschrijving wereldkennis bevat die relevant is voor de intentie van de gebruiker.
- Consistentie met de Landingspagina: Verifieert dat alle verkoopargumenten strikt worden ondersteund door de informatie op de landingspagina, om ongetrouwe overdrijvingen te voorkomen.
- Output: GenRMs bieden zowel een binair signaal (pass/fail) als fijnmazige redeneerfeedback (bijv. uitleggen waarom een zin ongetrouw is of welke kennis ontbreekt).
Zoekmachine: Haalt relevante kennis op uit een enorme corpus van encyclopedische webpagina's om de context aan te vullen, zodat de gegenereerde tekst geworteld is in externe kennis.

3. Agentic RL Optimalisatie

Het framework optimaliseert het beleid met behulp van Group Sequence Policy Optimization (GSPO), een critic-vrije methode.

Rollouts: Elke episode is een multi-turn rollout sequentie $\tau$ .
Beloningssignaal: De totale beloning $r_t$ is een gewogen som van de binaire kwaliteitssignalen van GenRMs (Kenniscapaciteit en Consistentie met de Landingspagina) en een voorspelde CTR-score afgeleid van een model dat is getraind op historische gebruikersfeedbacklogs.
Beleidsoverdracht (Policy Update): De advantage wordt geschat met behulp van groep-gebaseerde normalisatie over meerdere rollouts per prompt. Tijdens de gradiëntberekening worden alleen de tokens gegenereerd door het beleid bijgewerkt, terwijl door de omgeving geleverde tokens (observaties) en taakinputs worden gemaskeerd.

Belangrijkste Bijdragen

Verschuiving in Focus: Het artikel identificeert de industriële noodzaak om de focus te verschuiven van CTR-gestuurde titelgeneratie naar informatieve beschrijvinggeneratie, waarbij de nadruk ligt op het expliciet modelleren van wereldkennis om aan de intentie van de gebruiker te voldoen.
Iteratief Framework: Het stelt INTERACTOR voor, een multi-turn framework waarbij een LLM-beleid wordt geoptimaliseerd via agentic RL. Dit maakt continue verbetering in kenniscapaciteit en consistentie met de landingspagina mogelijk door middel van gedetailleerde, op redenering gebaseerde feedback in plaats van enkel scalaire signalen.
Empirische Validatie: Experimenten op grootschalige industriële datasets tonen aan dat INTERACTOR de state-of-the-art single-turn benaderingen aanzienlijk overtreft in het genereren van kennisrijke en getrouwe beschrijvingen.

Experimentele Resultaten

Het framework werd geëvalueerd op een propriëtaire dataset van 1 miljoen user-ad paren van een toonaangevende Chinese zoekmachine.

Offline Metrieken: INTERACTOR presteerde beter dan de baselines (inclusief CTOP, DIVER en een single-turn RL productiemodel) op alle dimensies:
- Getrouwheid (Faithfulness): Behaalde 0,872, aanzienlijk hoger dan de single-turn RL baseline (0,726) en andere concurrenten.
- Informativiteit: Scoorde 0,715, waarmee de single-turn RL baseline (0,693) werd overtroffen.
- Aantrekkelijkheid (Voorspelde CTR): Behaalde 12,4%, wat de single-turn baseline (12,3%) licht overtrof.
Ablatie-studies:
- Het verwijderen van de redeneerfeedback van GenRMs ("w/o reasoning") veroorzaakte een dramatische prestagedaling, wat bevestigt dat fijnmazige feedback de cruciale factor is voor het iteratieve proces.
- De laatste beurt van de iteratie presteerde consequent beter dan de voorlaatste beurt, wat de capaciteit voor continue verbetering valideert.
Online A/B-test: Geïmplementeerd in een toonaangevend advertentiesysteem dat sinds mei 2026 meer dan 140.000 adverteerders beslaat. De resultaten lieten een toename van +0,74% in advertentie-inkomsten zien en een toename van +7 procentpunt in het top-grade niveau voor de algehele contentkwaliteit in menselijke evaluaties.

Betekenis en Claims

Het artikel claimt dat het INTERACTOR-framework een significante vooruitgang vertegenwoordigt in advertentietekstgeneratie door verder te gaan dan de beperkingen van op scalaire beloningen gebaseerde single-pass generatie. Door gebruik te maken van agentic RL met multi-turn iteratie en generatieve beloningsmodellen, kan het systeem de complexe beperkingen van langere advertentiebeschrijvingen effectief aan, waarbij een balans wordt gevonden tussen de behoefte aan informatieve wereldkennis en strikte naleving van landingspagina-feiten. De succesvolle online implementatie demonstreert de praktische levensvatbaarheid van deze aanpak voor het verbeteren van zowel de inkomsten van adverteerders als de gebruikerservaring in real-world sponsored search systemen.