Technische Samenvatting: Op LLM Gebaseerde Intelligente Samenstelling van Meldingen

Probleemstelling

Pushmeldingen fungeren als een cruciaal kanaal voor het opnieuw betrekken van gebruikers op digitale platformen, toch hebben huidige optimalisatie-inspanningen onevenredig veel aandacht gehad voor wie er moet worden ingelicht, wanneer dit moet gebeuren en wat er moet worden aanbevolen. De laatste fase van de pijplijn—hoe de aanbeveling wordt gecommuniceerd (samenstelling van het bericht)—blijft het minst geoptimaliseerd. Bestaande systemen vertrouwen sterk op generatie op basis van sjablonen met invulling van velden. Hoewel dit efficiënt is, stuit deze aanpak op een "structureel plafond": het kan wel relevante waarden invoegen, maar kan geen context natuurlijk samenstellen, relevantie uitleggen of nieuwheid overtuigend presenteren. Gevolg is dat gebruikers gewenning ervaren, waarbij herhaalde blootstelling aan structureel identieke berichten leidt tot onzichtbaarheid van het kanaal.

Bovendien bestaat er in de industrie aanzienlijke analytische verwarring omtrent de toewijzing van winst in betrokkenheid. Gerapporteerde verbeteringen in Click-Through Rates (CTR) worden vaak breed toegeschreven aan "AI-meldingen", zelfs wanneer de toename voortkomt uit upstream verbeteringen in targeting, ranking of timing in plaats van de tekst van het bericht zelf. Deze vermenging vertroebelt de specifieke waarde van taalgeneratie en leidt engineering-investeringen op het verkeerde spoor.

Methodologie

Het artikel hanteert een door PRISMA geleide systematische survey van academische en industriële literatuur (januari 2018 – maart 2026), waarbij 142 bronnen werden gescreend om 28 hoogwaardige referenties te selecteren (18 Tier 1 peer-reviewed, 7 Tier 2 engineeringrapporten, 3 Tier 3 contextueel).

De analyse verloopt via drie hoofdfasen:

1. Definitie en Decompositie: De auteurs definiëren "berichtkwaliteit" niet louter als een proxy voor CTR, maar als een multidimensionaal construct. Zij ontwarren de laag voor berichtgeneratie van aangrenzende pijplijncomponenten (selectie van publiek, ranking van content, optimalisatie van verzendtijd) om de specifieke bijdrage van taalgeneratie te isoleren.
2. Vergelijkende Analyse: Het artikel zet de mogelijkheden op basis van sjablonen af tegen de mogelijkheden van Large Language Models (LLM's) over zes gedefinieerde dimensies, ondersteund door productiedata uit domeinen zoals sociale media, eten bezorgen en e-commerce.
3. Architecturale Synthese: Op basis van de survey stellen de auteurs een uniek, end-to-end architecturaal raamwerk voor dat retrieval, generatie, ranking en governance integreert, inclusief een beslissingskader voor wanneer LLM's versus sjablonen moeten worden ingezet.

Belangrijkste Bijdragen

1. Een Zes-Dimensies Kader voor Berichtkwaliteit

Het artikel gaat voorbij aan CTR als enige metriek en definieert berichtkwaliteit langs zes concrete dimensies waar LLM's duidelijke voordelen bieden ten opzichte van sjablonen:

• Contextuele Relevantie: LLM's synthetiseren meerdere signalen (tijd, locatie, weer, geschiedenis) tot een coherent verhaal in plaats van statische veldwaarden in te voegen.
• Duidelijkheid: LLM's optimaliseren de formulering voor beknoptheid en natuurlijke grammatica op beperkte lock-schermoppervlakken, waardoor de onhandige syntaxis die vaak voorkomt bij met velden gevulde sjablonen wordt vermeden.
• Actiegericht: LLM's passen calls-to-action aan aan de specifieke situatie van de gebruiker (bijvoorbeeld het herformuleren van een verlaten winkelmandje van een verplichting naar een kans met specifieke prikkels).
• Omgaan met Nieuwheid: LLM's overbruggen de kloof tussen bekende gebruikersvoorkeuren en nieuwe items, waardoor het waargenomen risico van ontdekking wordt verminderd.
• Taalkundige Versheid: LLM's genereren semantische variatie over blootstellingen heen, waardoor de gewenningscyclus die statische sjablonen teistert wordt doorbroken.
• Overtuigende Passendheid: LLM's kunnen dynamisch overtuigende kaders kiezen (urgentie, sociale bewijskracht, waarde) op basis van gebruikerssegmenten, hoewel dit waarborgen vereist om manipulatie te voorkomen.

2. Architecturale Toewijzingsanalyse

Het artikel biedt een rigoureuze ontvlechting van de meldingspijplijn. Het stelt dat waargenomen winst in betrokkenheid vaak ten onrechte wordt toegeschreven aan tekstgeneratie, terwijl deze voortkomt uit interactie-effecten over de volledige stack.

• Targeting, Ranking en Timing worden geïdentificeerd als distincte problemen met eigen optimalisatiemiddelen.
• Berichtgeneratie is de specifieke laag waar LLM's direct impact hebben op kwaliteit.
• Bewijs: Het artikel citeert gecontroleerde implementaties (bijvoorbeeld DoorDash waarbij itemaanbevelingen constant werden gehouden) waarbij alleen veranderingen in framing een toename van +1,8% in betrokkenheid opleverden, waarmee de bijdrage van taal werd geïsoleerd.

3. Het Beslissingskader voor de Beperkende Beperking

Het artikel introduceert een kader met drie criteria om te bepalen wanneer LLM-generatie de "beperkende beperking" is (d.w.z. wanneer het de rekentkosten waard is) en wanneer sjablonen superieur blijven:

1. Frameringsvariatie: Staats de inhoud meerdere plausibele, zinvol verschillende framings toe?
2. Taalkundige Gevoeligheid: Is de reactie van de gebruiker gevoelig voor hoe het bericht is geformuleerd, of alleen voor wat er wordt aanbevolen?
3. Contextrijkdom: Beschikt het systeem over voldoende verankerde context om niet-triviale samenstelling te ondersteunen?

De auteurs betogen dat voor transactie-alerts (bijvoorbeeld wachtwoordresetten, leveringsbevestigingen) sjablonen superieur zijn vanwege lage variatie en hoge eisen aan duidelijkheid, terwijl LLM's uitblinken in scenario's voor herbetrekking, ontdekking en aanbeveling.

Resultaten en Empirisch Bewijs

Het artikel synthetiseert productiedata uit 28 bronnen, waarbij een consistent patroon naar voren komt: LLM-winsten schalen omgekeerd evenredig met de basissophisticatie.

• Hoge Winsten: Systemen die statische, ondergeoptimaliseerde sjablonen vervangen, zien CTR-verbeteringen variërend van +8% tot +14,5%. Bijvoorbeeld, het PushGen-systeem rapporteerde een CTR-stijging van +14,08% en 3,2× meer lexicale diversiteit.
• Matige Winsten: Systemen waar LLM's concurreren tegen reeds volwassen veldinvulling of geoptimaliseerde baselines zien bescheidener winsten van +1% tot +2,5%.
• Specifieke Bevindingen:
  • Versheid: LLM-genererde berichten behielden na 4 weken van aanhoudende levering betrokkenheidsniveaus die 18% hoger waren dan bij sjablonen.
  • Conversie: E-commerce-implementaties rapporteerden +12,5% CTR en +8,3% verbetering in Conversie Rate (CVR), grotendeels toegeschreven aan verbeterde actieframing en passende overtuigingskracht.
  • Diversiteit: De implementatie door Instagram van een laag voor diversiteitsstraf toonde aan dat minder, maar diversere meldingen beter presteerden in CTR dan homogene meldingen.

Voorgesteld Uniek Architecturaal Kader

Het artikel schetst een unieke pijplijn voor op LLM gebaseerde samenstelling van meldingen:

1. Inputs: Gebruikersprofiel, contentvoorraad en contextuele signalen.
2. Budgetbewuste Router: Past het kader met drie criteria toe om te beslissen of het LLM-pad moet worden ingeroepen of teruggevallen moet worden op sjablonen.
3. Generatiepad:
   • RAG Retrieval: Injecteert verankerde context (gebruikersgeschiedenis, itemmetadata) in de prompt.
   • Generatie: Produceert 4–8 kandidaten met LoRA-adapters voor stijlcontrole.
   • Waarborgen: Feitelijkheid en beleidsfilters verwijderen niet-ondersteunde claims of verboden inhoud.
   • Ranking: Een pairwise reward model selecteert de beste kandidaat op basis van voorspelde voorkeur.
   • Diversiteitscontrole: Voorkomt vermoeidheid door frequentie en semantische variatie te beheren.
   • Optimalisatie van Verzendingstijd: Een contextuele bandiet bepaalt het optimale leveringsvenster.
4. Feedbacklus: Counterfactuele logging en online learning updaten de modellen.

Betekenis en Claims

Het artikel stelt dat de primaire betekenis ligt in het verschuiven van de industriële focus van "AI als wondermiddel" naar een genuanceerd begrip van berichtkwaliteit als een onafhankelijk optimalisatiedoel.

• Wetenschappelijke Duidelijkheid: Door berichtgeneratie te ontwarren van targeting en timing, biedt het artikel een kader voor rigoureuze causale inferentie in meldingssystemen, waardoor foutieve toewijzing van winst wordt voorkomen.
• Praktische Richtlijnen: Het kader voor de beperkende beperking biedt een principieel fundament voor engineering-investeringen, waarbij expliciet wordt gedefinieerd wanneer LLM's niet moeten worden gebruikt om onnodige latentie en kosten te vermijden.
• Governance: Het artikel benadrukt dat de toegenomen overtuigingskracht van LLM's nieuwe risico's van manipulatie introduceert en robuuste governance vereist (controles op feitelijkheid, audit op eerlijkheid en naleving van regelgeving) om "dark patterns" te voorkomen.

De auteurs concluderen dat LLM's weliswaar aanzienlijk onbenut potentieel bieden in de berichtlaag, maar dat het realiseren van deze waarde vereist dat men voorbij gaat aan binaire claims van "LLM's werken" en overgaat tot evaluatie met geïsoleerde componenten, sterkere experimentele opzet en open benchmarks die generatie ontwarren van de bredere aanbevelingsstack.