A robust association between LLM use and scientific productivity: Assessing stopping-time selection

Technische Samenvatting: Beoordeling van de 'Stopping-Time Selection' in LLM-productiviteitsstudies

Probleemstelling
Dit artikel reageert op een kritiek van Renault, Bergeaud en Bosquet (RBB) op de oorspronkelijke bevindingen van de auteurs over de associatie tussen het gebruik van Large Language Models (LLM's) en wetenschappelijke productiviteit. RBB stelde dat de methodologie van de oorspronkelijke studie — waarbij de adoptie van LLM's wordt gedateerd op de eerste maand waarin een abstract van een auteur door een detector wordt gemarkeerd — een "stopping-time selection"-bias induceert. Specifiek moet de maand voorafgaand aan de eerste markering per definitie geen gemarkeerde papers bevatten, wat een kunstmatig verlaagd baseline-niveau vertegenwoordigt (gedisconteerd met een factor $1-p$, waarbij $p$ de markeeringsgraad is). Het vergelijken van daaropvolgende maanden met deze verlaagde referentie kan een positief event-study-pad genereren, zelfs in afwezigheid van een causaal productiviteitseffect. De auteurs erkennen dat dit mechanisme wiskundig plausibel is, maar stellen dat dit geen bewijs is voor een nul-effect. De centrale vraag is of dit artefact de omvang van de geobserveerde associatie verklaart, of dat er een werkelijk positieve associatie persisteert zodra het artefact is verwerkt.

Methodologie
De auteurs hanteren een veelzijdige strategie om het stopping-time-artefact te isoleren van het werkelijke signaal, gebruikmakend van zowel gerecalibreerde placebo-tests als vier alternatieve identificatie-ontwerpen:

1. Gerecalibreerde Random Placebo: De auteurs betogen dat de oorspronkelijke placebo-tests van RBB bevooroordeeld waren omdat ze niet overeenkwamen met de gerealiseerde markeeringsgraad van de detector. Zij construeren een nieuwe random placebo die met exact dezelfde frequentie afvuurt als de empirische LLM-detector. Dit creëert een conservatieve benchmark waarbij het mechanische "stopping-time"-artefact constant wordt gehouden, wat een directe vergelijking van het residu-signaal mogelijk maakt.
2. Alternatief Ontwerp 1: Gescheiden Perioden (Voor-en-Na): Om de verlaagde referentiemand volledig te elimineren, dateren de auteurs de adoptie in één jaar (2023) en meten zij de output in een daaropvolgende, niet-overlappende periode (januari–juni 2024), waarbij zij deze vergelijken met een pre-LLM baseline (januari–juni 2022). Dit ontwerp verwijdert de onmiddellijke post-detectie piek-artefact.
3. Alternatief Ontwerp 2: Conservatieve Controlegroep (Difference-in-Differences): De auteurs herzien de controlegroep in een DiD-framework door "nooit-behandelde" auteurs te combineren met "nog-niet-behandelde" auteurs. Omdat "nog-niet-behandelde" auteurs toekomstige adoptanten zijn, ervaren zij dezelfde mechanische selectiebias (verlaagde pre-adoptie maanden) als de behandelde groep. Deze symmetrie zorgt ervoor dat het artefact wegvalt door differencing, terwijl de controlegroep conservatief blijft omdat toekomstige adoptanten uiteindelijk een productiviteitsstijging zullen vertonen, wat de schatting naar nul toe dempt.
4. Alternatief Ontwerp 3: Intensiteit-gebaseerde Specificatie: In plaats van een discrete adoptiedatum te definiëren, regregeren de auteurs de huidige productiviteit op de intensiteit van het AI-gebruik in het voorgaande kwartaal (gemeten via de gemiddelde detector score of het aandeel gemarkeerde papers). Dit verbreekt de mechanische link tussen gelijktijdige markering en gelijktijdige output.
5. Alternatief Ontwerp 4: Rang-gebaseerde Meting: Bij een vaste flag rate ($p$) vergelijken de auteurs drie regels: het markeren van de top-$p\%$ van de papers op basis van de detector score, de onderste $p\%$, en een random Bernoulli-trekking. Als het artefact de enige drijfveer zou zijn, zouden alle drie de regels identieke resultaten moeten opleveren. Divergentie duidt erop dat de inhoud van de markering (de $\alpha$-score) een signaal draagt dat verder gaat dan het mechanische timing-effect.

Belangrijkste Resultaten

• Placebo Benchmark: Wanneer de random placebo wordt gekalibreerd aan de gerealiseerde markeeringsgraad van de detector, blijft het empirische LLM-detector pad gedurende de gehele post-behandelingsperiode significant boven de placebo-benchmark liggen. De gemiddelde excess is 0,119 log-punten (bij $\alpha > 0,1$) en 0,183 log-punten (bij $\alpha > 0,5$). De placebo vertoont negatieve pre-behandelingscoëfficiënten, in tegen tegenstelling tot de echte data, wat verder suggereert dat het echte signaal niet louter een artefact is.
• Gescheiden Perioden: In het ontwerp dat de 2024-output vergelijkt met de 2022-baselines, observeren de auteurs een toename in productiviteit van 17,3% tot 25,1% voor de adoptanten. Dezelfde methode toegepast op de pre-ChatGPT placebo-data levert nulresultaten op (-0,9% tot 0,0%), wat bevestigt dat het artefact niet overleeft wanneer de daterings- en meetperioden worden gescheiden.
• Conservatieve Controle: Door gebruik te maken van de gecombineerde controlegroep vinden de auteurs een persistent positief coëfficiënt (gepoolde schatting: 0,068 log-punten) die statistisch significant is. De toepassing van de placebo levert insignificante resultaten op. Omdat dit ontwerp de schatting dempt, wordt het positieve resultaat geïnterpreteerd als een ondergrens.
• Intensiteit en Rang: De intensiteit-gebaseerde specificatie toont positieve, zeer significante coëfficiënten voor het gebruik van AI in de voorgaande periode, terwijl de placebo-data negatieve, insignificante coëfficiënten vertonen. Evenzo laat de rang-gebaseerde test zien dat top-$\alpha$ regels de random baseline significant overtreffen, terwijl bottom-$\alpha$ regels onderpresteren, een patroon dat afwezig is in de placebo-data.

Betekenis en Claims
De auteurs concluderen dat het door RBB geïdentificeerde "stopping-time selection"-mechanisme weliswaar reëel is, maar begrensd is. Het verklaart niet het patroon van productiviteitsveranderingen dat in hun oorspronkelijke werk werd gerapporteerd. De convergentie van resultaten over vier verschillende ontwerpen — die elk een positief signaal zouden produceren als het puur mechanisch was — biedt robuust bewijs dat er een positieve associatie bestaat tussen LLM-gebruik en verhoogde wetenschappelijke output.

Cruciaal is dat de auteurs de bescheidenheid van hun oorspronkelijke claims behouden:

• Zij beweren niet dat deze schattingen causaal zijn. Zij stellen expliciet dat endogeniteit in technologie-adoptie (wie adopteert en wanneer) onopgelost blijft.
• Zij beweren niet een precieze, universele omvang van het effect te hebben geïdentificeerd. Zij stellen dat de omvang lokaal is aan de specifieke generatie modellen en de bestudeerde tijdsperiode.
• Hun primaire bijdrage is het vaststellen dat de richting van de associatie (positief) standhoudt na het verwijderen van het specifieke daterings-artefact, waarmee de hypothese wordt weerlegd dat hun oorspronkelijke bevindingen volledig gespioneerd waren.

Het artikel dient als een methodologische verdediging die aantoont dat, hoewel event-study ontwerpen die de behandeling dateren vanuit uitkomsten voorzichtigheid vereisen, het specifieke artefact dat geïdentificeerd is, de geobserveerde correlatie tussen LLM-adoptie en toegenomen wetenschappelijke output niet ongeldig maakt.