Research Borderlands: Analysing Writing Across Research Cultures

Dit artikel stelt een mensgericht kader voor het analyseren en meten van culturele normen in wetenschappelijk schrijven, waarbij interdisciplinaire interviews worden gebruikt om de belangrijkste stilistische en retorische verschillen tussen onderzoeksculturen te identificeren en te demonstreren hoe deze metrieken de neiging van grote taalmodellen onthullen om het schrijven te homogeniseren in plaats van zich aan te passen aan specifieke culturele contexten.

De kern

Stel je de wereld van academisch onderzoek niet voor als één grote, gigantische bibliotheek, maar als een bruisende stad met veel verschillende wijken. Elke wijk—zoals Natural Language Processing (NLP), Machine Learning (ML) of Onderwijs—heeft zijn eigen unieke dialect, modegevoel en ongeschreven regels van etiquette.

Dit artikel, "Borderlands: Analysing Writing Across Research Cultures," is als een gids om door deze wijken te navigeren. De auteurs wilden een simpele vraag beantwoorden: Wat maakt dat een wetenschappelijk artikel aanvoelt alsof het bij een specifieke wijk hoort in plaats van bij een andere?

Hier is een overzicht van hun reis en bevindingen, gebruikmakend van alledaagse analogieën.

1. Het Probleem: De "Eén-maat-allemaal" Vertaler

Stel je voor dat je een reiziger bent die perfect Engels spreekt. Je wilt een verhaal vertellen aan een groep boeren in het ene dorp en vervolgens aan een groep bankiers in een ander dorp. Als je hen precies hetzelfde verhaal vertelt met exact dezelfde woorden, kunnen de boeren in de war raken en de bankiers zich vervelen.

In de wereld van AI zijn Large Language Models (LLM's) als deze reizigers. Ze zijn geweldig in het spreken van "Engels" (algemene taal), maar ze hebben vaak moeite om de specifie speciale "dialecten" van verschillende onderzoeksgemeenschappen te begrijpen. De meeste eerdere studies probeerden cultuur te meten door te kijken naar brede zaken zoals nationaliteit of taal (bijv. "Frans" versus "Engels"). De auteurs stellen dat dit te vaag is. In plaats daarvan besloten ze in te zoomen op de specifieke "wijken" van de wetenschap.

2. De Methode: Vragen aan de "Super-Reizigers"

Om de regels van deze wijken te begrijpen, keken de auteurs niet alleen naar data; ze praatten met mensen. Ze interviewden interdisciplinaire onderzoekers—wetenschappers die als "super-reizigers" fungeren omdat ze regelmatig papers schrijven voor verschillende gemeenschappen (bijv. een wetenschapper die zowel voor computerwetenschappers als voor artsen schrijft).

Ze vroegen deze experts: "Wanneer je je paper van de ene gemeenschap naar een andere verplaatst, wat verander je dan?"

Vanuit deze gesprekken bouwden ze een Culturele Kaart met vier hoofdcategorieën van regels:

• Structurele Normen (De Architectuur): Hoe lang is het paper? Heeft het veel grafieken (als een visueel verhaal) of alleen tabellen met cijfers?
  • Analogie: Sommige wijken vereisen een wolkenkrabber (lange papers), terwijl andere de voorkeur geven aan een knusse cottage. Sommigen willen een tuin met standbeelden (figuren), terwijl anderen een bibliotheek van spreadsheets willen (tabellen).
• Stilistische Normen (De Mode): Wat voor woorden draag je? Gebruik je zwaar technisch jargon (als een uniform) of gewone taal? Is de toon formeel (als een pak) of informeel (als een spijkerbroek)?
  • Analogie: In één wijk kan het noemen van "minderheden" een modieuze faux pas zijn, terwijl het in een andere wijk standaard kleding is. Op de ene plek moet je complexe wiskunde gebruiken om een punt te bewijzen; op een andere plek werkt een simpel verhaal beter.
• Retorische Normen (Het Verhalen Vertellen): Hoe vertel je je verhaal? Begin je met harde cijfers en statistieken, of begin je met een groot idee en een narratief?
  • Analogie: Sommige gemeenschappen willen direct de "bonnetjes" (cijfers) zien. Anderen willen eerst het "legende" (het verhaal) horen.
• Citatie-normen (De Gastenlijst): Wie noem je in je verhaal? Citeer je de "klassieke" oude meesters van het vakgebied, of refereer je aan de nieuwste trending onderwerpen?
  • Analogie: Elke wijk heeft zijn eigen "Hall of Fame". Als je de juiste mensen niet noemt, kunnen de locals denken dat je een buitenstaander bent.

3. De Test: Kan de AI de Rol Spelen?

Zodra ze deze regels hadden in kaart gebracht, creëerden de auteurs een "testsuite" (een reeks metingen) om te zien of AI-modellen deze regels daadwerkelijk konden volgen. Ze namen de introductie van een wetenschappelijk artikel geschreven voor één gemeenschap (bijv. Machine Learning) en vroegen verschillende AI-modellen om deze te herschrijven voor een andere gemeenschap (bijv. Onderwijs).

De Resultaten: De AI is een "Mode-Homogenisator"
De bevindingen waren verrassend en enigszins verontrustend:

• Het Goede Nieuws: De AI was best goed in het aanpassen van de vocabulaire. Als je het vroeg om voor Onderwijs te schrijven, verving het computerjargon door onderwijstermen. Het wist welke "woorden" het moest dragen.
• Het Slechte Nieuws: De AI faalde op alle andere vlakken. Het paste zich niet alleen aan; het vervlakte het schrijven.
  • Het maakte alles korter, ongeacht of de doelgemeenschap van lange of korte papers hield.
  • Het verwijderde alle grafieken en figuren, zelfs als de doelgemeenschap er dol op was.
  • Het maakte de toon uniform, waardoor de unieke "persoonlijkheid" van de specifieke wijk werd weggepoetst.

De Metafoor: Stel je voor dat de AI een kleermaker is die, in plaats van een specifiek outfit te maken voor een specifieke gelegenheid, een schaar pakt en elk stuk kleding in exact dezelfde grootte en vorm knipt. Het ziet er "netjes" uit, maar het past bij niemand echt goed.

4. De Conclusie: Waarom Dit Ertoe Doet

Het artikel concludeert dat hoewel AI steeds beter wordt in schrijven, het momenteel een gebrek heeft aan culturele competentie. Het heeft de neiging om al het wetenschappelijke schrijven er hetzelfde uit te laten zien (homogenisering), wat gevaarlijk kan zijn.

Als alle wetenschappelijke papers hetzelfde gaan klinken, kunnen we de unieke perspectieven en vertelstijlen verliezen die verschillende velden aan tafel brengen. De auteurs suggereren dat we AI in plaats van te laten het paper voor ons schrijven, het moeten gebruiken als een hulpmiddel om door deze culturele grenzen te navigeren, terwijl we de menselijke toets behouden om ervoor te zorgen dat het paper past in de specifieke "wijk" waar het binnenkomt.

Kortom: Het paper laat zien dat schrijven voor verschillende wetenschappelijke gemeenschappen is als je aankleden voor verschillende feesten. AI is momenteel erg goed in het veranderen van je shirt, maar houdt je broek, schoenen en kapsel precies hetzelfde, waardoor je op elk feestje uit de toon valt.

Technische samenvatting

Technische Samenvatting: Borderlands: Analyseren van Schrijven over Onderzoeksculturen heen

Probleemstelling
Hoewel het verbeteren van de culturele competentie van taaltechnologieën een erkende prioriteit is, sluiten recente werken er vaak niet in om de specifieke gemeenschappen waarover zij studeren daadwerkelijk te betrekken. In plaats daarvan vertrouwen ze op synthetische opstellingen en imperfecte proxies voor cultuur, zoals nationaliteit of taal, die een gebrek aan verankering in specifieke taken of culturele contexten vertonen. Bijgevolg blijft het concept "cultuur" in de evaluatie van Large Language Models (LLM's) vaag gedefinieerd. Er is een kritieke behoefte om te begrijpen hoe schrijfnormen variëren binnen specifieke onderzoeksgemeenschappen en om te evalueren of LLM's effectief kunnen adapteren aan deze genuanceerde, vaak ongedocumenteerde, culturele verwachtingen.

Methodologie
De auteurs hanteren een mensgerichte, bottom-up benadering om culturele normen binnen onderzoeksgemeenschappen te definiëren en te meten, waarbij de focus specifiek ligt op de taak van het adapteren van inleidingen van wetenschappelijke artikelen over verschillende wetenschappelijke velden heen.

1. Gegevensverzameling via Mixed Methods:

   • Enquête (N=78): Een voorlopige enquête bevestigde dat interdisciplinaire onderzoekers papers regelmatig aanpassen voor verschillende gemeenschappen (bijv. na afwijzing of om aan te sluiten bij een nieuw tijdschrift), waarbij de inleiding de meest vaak aangepaste component is.
   • Interviews (N=10): Semi-gestructureerde interviews werden afgenomen bij senior interdisciplinaire onderzoekers die fungeren als experts in het navigeren tussen gemeenschappen. De deelnemers gaven voorbeelden van hun eigen papers die herschreven waren voor verschillende publicatieplaatsen en legden hun adaptatiestrategieën uit.

2. Frameworkontwikkeling:
   Door middel van kwalitatieve analyse van interviewtranscripten ontwikkelden de auteurs een framework van vier categorieën culturele normen:

   • Structurele Normen: Lengte en de aanwezigheid van artefacten (tabellen/figuren).
   • Stilistische Normen: Jargon/gespecialiseerde taal, leesbaarheid, formaliteit en verbositeit.
   • Retorische Normen: Het gebruik van kwantitatieve bewijsvoering, figuurlijk taalgebruik, framing (het benadrukken van specifieke waarden) en narratieve organisatie (de ordening van achtergrond, doelstellingen, methoden en resultaten).
   • Citationele Normen: Canoniciteit (het citeren van fundamentele werken) en engagementstijl (bijv. het gebruik van directe citaten).

3. Operationalisering (Evaluatiesuite):
   De auteurs vertaalden dit framework naar een suite van computationele metrieken:

   • Lengte/Artefacten: Woordtellingen, zintellingen en regex-gebaseerde detectie van vermeldingen van tabellen/figuren.
   • Jargon: Specificiteitsscores met behulp van Normalized Pointwise Mutual Information (NPMI).
   • Formaliteit: Zin-niveau scores met behulp van een DeBERTa-large model dat is gefinetuned op GYAFC.
   • Leesbaarheid: Gemiddelde Flesch reading-ease scores.
   • Kwantitatieve Bewijsvoering: Een LLM-as-a-judge setup (Llama 3.1 70B) om numerieke bewijsvoering te detecteren.
   • Narratieve Organisatie: Een multinomial classifier (SCIM) om de functies van zinnen te categoriseren en hun positionele afwijking te meten.
   • Framing: Een lexicon-gebaseerde classifier om gecodeerde onderzoekswaarden (bijv. efficiëntie, eerlijkheid, nieuwheid) te detecteren.

4. Kwantitatieve Analyse:

   • Menselijke Schrijf-analyse: De suite werd toegepast op een corpus van 81.178 inleidingen van wetenschappelijke papers uit 11 computer science gemeenschappen (bijv. NLP, ML, HCI, Education) om latente variaties bloot te leggen.
   • LLM Evaluatie: De auteurs evalueerden de culturele competentie van vijf LLM's (GPT-3.5, GPT-4o Mini, Llama 3.1/3.3, Mistral) door hen te instrueren inleidingen van bron-gemeenschappen te adapteren naar doel-gemeenschappen. De veranderingen in metriekwaarden werden vergeleken met de werkelijke distributies van menselijk geschreven papers in de doelgemeenschappen.

Belangrijkste Resultaten

• Variaties in Menselijk Schrijven: De computationele metrieken slaagden er succesvol in om op grote schaal onderscheidende culturele normen te identificeren binnen de 11 gemeenschappen. Zo vertoonden Education-papers een hoge variantie in leesbaarheid, terwijl ML- en NLP-gemeenschappen sterke, consistente normen vertoonden met betrekking tot de hoeveelheid kwantitatieve bewijsvoering. Specificiteitsscores (jargon) varieerden aanzienlijk, waarbij Education de meest onderscheidende gemeenschap was.
• LLM Culturele Competentie:
  • Vocabulaire Adaptatie: LLM's pasten de vocabulaire succesvol aan, waardoor de specificiteitsscores toenamen om aan te sluiten bij de doelgemeenschappen.
  • Homogenisering: Bij alle andere metrieken hadden LLM's de neiging om kenmerken in één richting te bewegen, ongeacht de doelgemeenschap. Zo verkortten de modellen consequent de tekst, verminderden ze de vermelding van tabellen en figuren, verlaagden ze de leesbaarheid en verhoogden ze de dichtheid van kwantitatieve bewijsvoering.
  • Falen in Adaptatie: Modellen "slaagden" alleen in adaptatie wanneer hun standaard homogeniserende trend toevallig overeenkwam met de normen van de doelgemeenschap (bijv. het inkorten van tekst voor NLP, waar inleidingen van nature korter zijn). In gevallen waar de doelgemeenschap langere teksten of andere structurele arrangementen vereiste (bijv. Education), faalden de modellen in de adaptatie en legden ze in plaats daarvan een uniforme stijl op.

Significantie en Claims
Het artikel beweert de effectiviteit aan te tonen van een mensgerichte benadering voor het meten van culturele normen in zowel door mensen geschreven als door LLM gegenereerde teksten. Door de nadruk te leggen op gemeenschapsleden en te focussen op een realistische taak (schrijfadaptatie), bieden de auteurs een ecologisch validere alternatief voor top-down benaderingen die vertrouwen op brede proxies zoals nationaliteit.

Het werk benadrukt een significante beperking in huidige algemene LLM's: hoewel ze in staat zijn om vocabulaire aan te passen, worstelen ze met het naleven van de structurele, stilistische en retorische nuances van specifieke onderzoeksgebieden, waarbij ze de neiging hebben om wetenschappelijk schrijven te homogeniseren. De auteurs stellen dat deze homogenisering een risico vormt voor de diversiteit van ideeën en schrijfstijlen binnen de wetenschappelijke gemeenschap. Zij concluderen dat toekomstige wetenschappelijke schrijftools zich waarschijnlijk moeten richten op interactieve ondersteuning die gemeenschapsbarrières blootlegt, in plaats op volledige automatisering van het schrijfproces, om zo de menselijke rol in het vormgeven van gemeenschapswaarden door middel van schrijven te behouden. De auteurs hebben hun evaluatiesuite open-source beschikbaar gesteld om toekomstig onderzoek naar de science of science en de evaluatie van culturele competentie te ondersteunen.