Sustained Impact of Agentic Personalisation in Marketing: A Longitudinal Case Study

Deze longitudinale case study toont aan dat hoewel menselijke beheerders de hoogste engagementstijging realiseren, autonome marketingagenten gedurende elf maanden een positieve prestatieverbetering kunnen handhaven, wat wijst op een effectief symbiotisch model waarbij mensen de strategie initiëren en agenten de schaalbare resultaten waarborgen.

De kern

Stel je voor dat je een enorme, levendige stad beheert met 8,8 miljoen inwoners. Je taak is om elke inwoner op het juiste moment een briefje te geven met een boodschap die hen precies aanspreekt. Misschien een uitnodiging voor een restaurant, een korting op boodschappen of een herinnering om de app weer te openen.

In het verleden deden marketeers dit met de hand. Ze maakten lijsten: "Als iemand in Antwoop woont en gisteren niet heeft geklikt, stuur dan een blauwe e-mail." Maar met miljoenen mensen en eindeloze opties, werd dit onmogelijk. Het was als proberen elke inwoner van die stad persoonlijk te bezoeken; je zou verlamd raken door de hoeveelheid werk en uiteindelijk maar saaie, algemene brieven sturen aan iedereen.

Om dit op te lossen, hebben ze een slimme robot (een "agentic" systeem) ingezet. Maar de grote vraag was: Moet er altijd een mens bij zitten om de robot aan te sturen, of kan de robot het alleen doen?

Dit artikel vertelt het verhaal van een 11-maanden durend experiment om dit uit te zoeken.

Het Experiment: Twee Hoofdstukken

De onderzoekers deelden hun tijd in twee delen op, zoals een film met twee aktes:

Akte 1: De Menselijke Regisseur (De eerste 4 maanden)
In deze periode hadden menselijke marketeers de leiding. Ze waren als chef-koks die de ingrediënten voor de robot kochten en het recept schreven. Ze zorgden voor nieuwe teksten, nieuwe aanbiedingen en nieuwe manieren om de robot te instrueren. De robot deed het zware werk (het verzenden naar miljoenen mensen), maar de mensen bepaalden de smaak.

• Resultaat: Dit werkte fantastisch. De betrokkenheid van de mensen steeg enorm. Het was alsof de stad plotseling veel levendiger werd.

Akte 2: De Robot Alleen (De volgende 7 maanden)
Vervolgens stapten de mensen uit de keuken. Ze lieten de robot alleen achter met de ingrediënten die ze eerder hadden achtergelaten. Er kwamen geen nieuwe recepten meer. De robot moest het nu alleen doen, leren van wat werkte en wat niet, zonder menselijke hulp.

• Resultaat: Dit was de verrassing! De robot viel niet in slaap en de resultaten vielen niet terug naar het oude, saaie niveau. De robot bleef presteren. De betrokkenheid bleef hoog, al was het iets minder dan toen de chef-kok er nog was.

De Grote Leerles: Een Symbiose

Het onderzoek toont aan dat we niet hoeven te kiezen tussen "mens" of "machine". Het beste is een symbiose (een samenwerking):

1. De Mens is de Ontdekker (De Architect): Mensen zijn nodig om het fundament te leggen. Ze bedenken de creatieve ideeën, schrijven de eerste teksten en zorgen voor de "ingrediënten". Zonder hen start de robot met lege handen.
2. De Robot is de Wachter (De Tuinman): Zodra de tuin is aangelegd, kan de robot de rest van het jaar voor zijn rekening nemen. Hij zorgt dat de planten blijven groeien, watert op het juiste moment en snoeit wat niet werkt. Hij houdt de prestaties hoog, zelfs als de mens even weg is.

Waarom is dit belangrijk?

Vroeger dachten veel bedrijven: "Als we een slimme AI hebben, kunnen we de mensen ontslaan." Of andersom: "AI is te riskant, we moeten alles zelf doen."

Dit verhaal zegt: Geen van beide.

• Als je de mens weghaalt, blijft de robot werken, maar hij bereikt niet zijn maximale potentieel (hij mist de creatieve sprong).
• Als je de robot weghaalt, kan hij zijn werk niet doen omdat er te veel mensen zijn om handmatig te bedienen.

De conclusie in één zin:
Gebruik mensen om de start te maken en nieuwe ideeën te bedenken, en laat de slimme robots het onderhoud doen om die successen langdurig vast te houden. Zo krijg je het beste van twee werelden: creativiteit en schaalbaarheid.

Technische samenvatting

Titel: Duurzame Impact van Agente Personalisatie in Marketing: Een Longitudinale Casestudy

Auteurs: Olivier Jeunen, Eleanor Hanna, en Schaun Wheeler (aampe)
Publicatie: arXiv:2604.08621v1 [cs.AI]

---

1. Probleemstelling

Traditioneel Customer Relationship Management (CRM) in consumententoepassingen vertrouwt op handmatige, statische en regelgebaseerde strategieën voor het verzenden van berichten. Hoewel deze methoden werken voor kleinere schalen, lopen ze vast bij de schaalbaarheid naar miljoenen gebruikers en uitgebreide contentcatalogi.

• De Bottleneck: De combinatorische complexiteit om de juiste gebruiker op het juiste moment met het juiste bericht te koppelen, overtreft de menselijke verwerkingscapaciteit.
• Het Gevolg: Dit leidt tot generieke "broadcast"-strategieën met afnemende engagement-opbrengsten.
• De Onzekerheid: Hoewel machine learning en autonome agenten beloven personalisatie te schalen, is het onduidelijk of menselijke toezicht ("human-in-the-loop") permanent nodig is om prestaties op peil te houden, of dat systemen autonoom kunnen blijven leren zonder degradatie (model drift).

2. Methodologie

De auteurs voerden een longitudinale gerandomiseerde gecontroleerde studie (RCT) uit over een periode van 11 maanden in een grote, anonieme multi-verticale consumentenapp (levering van eten, boodschappen, retail).

Experimenteel Ontwerp:

• Populatie: 8,8 miljoen gebruikers die inactief waren (re-activatie use-case).
• Verdeling: 90% van de gebruikers in de behandelgroep (Agente Infrastructuur), 10% in de controlegroep (Business As Usual - BAU).
• Fasen:
  1. Actieve Fase (Maand 0-4): Menselijke marketeers cureren actief content, doelgroepen en strategieën. Ze leveren "atomaire componenten" (tonen, aanbiedingen, begroetingen) die het systeem gebruikt.
  2. Passieve Fase (Maand 5-11): Geen menselijke interventie. Agenten opereren autonoom vanuit een statische bibliotheek van componenten, maar blijven leren en optimaliseren op basis van feedback.

Technische Implementatie:

• Formulering: Het probleem wordt gezien als een sequentiële besluitvorming onder onzekerheid.
• Agent-Actie: Voor een gebruiker $u$ op tijdstip $t$ observeert de agent een toestand $s_{u,t}$ en kiest een actie $a_t$. Deze actie is een dynamisch samengestelde tuple bestaande uit:
  • Content Assembly: Selectie van atomaire contentcomponenten.
  • Timing Strategy: Optimale verzendtijd.
  • Channel Selection: Het beste kanaal (push, e-mail, SMS).
• Leermechanisme: Het systeem gebruikt Thompson Sampling om een beleid $\pi(a_t|s_{u,t})$ te leren dat een cumulatieve beloning $r_t$ maximaliseert (bijv. app-openingen, conversies).
• Statistiek: Om de impact te meten, wordt de relatieve lift ($\Delta$) tussen behandel- en controlegroep berekend. Er wordt gebruikgemaakt van ML-RATE om de variantie te verminderen en de Delta-methode voor variantie-schattingen.

3. Belangrijkste Bijdragen

1. Empirisch Bewijs voor Duurzaamheid: Het paper levert bewijs dat autonome agenten, ondanks het stoppen van menselijke input, in staat zijn om positieve prestatieverbeteringen over lange periodes (7 maanden) te behouden zonder terugval naar de baseline.
2. Symbiotisch Operationeel Model: De auteurs stellen een nieuw model voor waarin menselijke creativiteit en algoritmische agents complementaire rollen spelen: mensen voor strategische initialisatie en ontdekking, en agents voor schaalbare uitvoering en behoud.

4. Resultaten

Actieve Fase (Mens + Agent):

• De menselijke begeleiding leverde de hoogste relatieve lift op.
• Directe App-Openingen: +65,3% (±1,31) toename in dagen met directe openingen via pushberichten.
• Engagement: +2,8% (±0,19) toename in dagen met positieve interactie.
• Conversie: +0,3% (±0,24) toename in conversiedagen, met name +1,2% voor een specifieke, belangrijke verticale (Conversion★).

Passieve Fase (Alleen Agent):

• Zelfs zonder menselijke input bleef het systeem significant boven de BAU-baseline presteren.
• Behoud van Lift: De agenten behielden een +57% lift in notificatie-klikken, +2,4% in engagement-dagen en +0,2% in intentie/conversie.
• Conclusie: Het systeem vertoonde geen "cliff-edge" degradatie (plotselinge ineenstorting) zoals vaak gezien wordt bij statische campagnes.

Vergelijking en Trend:

• Er was een merkbare daling in de marge van de lift tijdens de passieve fase vergeleken met de actieve fase (bijv. -15% voor engagement, -26% voor conversie-dagen).
• Trend: Een stijgende trend tijdens de actieve fase, een plateau in de eerste maanden van de passieve fase, en een lichte daling tegen het einde van de studie. Dit bevestigt dat menselijke input nodig is voor strategische vernieuwing, maar dat agents de winst kunnen vasthouden.

5. Betekenis en Conclusie

De studie weerlegt het idee dat CRM ofwel volledig handmatig ofwel volledig autonoom moet zijn. In plaats daarvan wordt een symbiotisch model voorgesteld:

• Agents als Baseline: Zorgen voor robuustheid en voorkomen van prestatieverval door statische regels. Ze kunnen zelfstandig leren en zich aanpassen aan gebruikersvoorkeuren.
• Mensen als Multiplier: Menselijke interventie is essentieel voor "strategische noviteit", creatieve verfrissing en het opzetten van een rijke bibliotheek van componenten. Dit levert een "prestatie-premie" op van ongeveer 12-26% extra lift.

Toekomstperspectief:
De auteurs wijzen op de potentie van Generatieve AI (LLM's). De huidige beperking is de handmatige productie van atomaire content. LLM's kunnen deze bottleneck wegnemen door dynamisch de optimale berichten te genereren voor elke gebruiker, waardoor de kloof tussen de "actieve" en "passieve" fases verder kan worden overbrugd, mits uitdagingen rondom hallucinaties en consistentie worden opgelost.

Kernboodschap: Autonome systemen zijn niet alleen schaalbaar, maar ook duurzaam, zolang ze worden geïnitieerd en periodiek verrijkt door menselijke strategische input.