AI-Assisted Curation of Conference Scholarship: Compiling, Structuring, and Analyzing Two Decades of Presentations at the Society for Social Work and Research

Deze studie presenteert een door AI ondersteunde database van bijna 24.000 presentaties van de Society for Social Work and Research (SSWR) over twee decennia, waarin een aanzienlijke groei in samenwerking, internationale deelname en een aanhoudende dominantie van kwantitatieve methoden wordt vastgesteld.

De kern

Stel je voor dat de wetenschappelijke wereld een enorme, levendige stad is. In deze stad vinden er jaarlijks grote festivals plaats waar onderzoekers hun nieuwste ideeën, ontdekkingen en verhalen vertellen. Voor de sociale wetenschappen in Noord-Amerika is het SSWR-congres (de jaarlijkse bijeenkomst van de Society for Social Work and Research) zo'n groot festival.

Deze paper vertelt het verhaal van hoe drie onderzoekers (Brian, Bryan en Zia) een gigantische schatkaart hebben getekend van dit festival, terugkijkend over de afgelopen twintig jaar (van 2005 tot 2026).

Hier is hoe ze dat deden en wat ze ontdekten, vertaald in alledaagse taal:

1. Het Grote Probleem: Een berg losse briefjes

Vroeger waren de presentaties op dit congres als duizenden losse briefjes in een doos. Iedereen schreef zijn naam, zijn universiteit en zijn onderzoek op een stukje papier (of een webpagina), maar er was geen systeem. Je kon niet makkelijk tellen: "Hoeveel mensen kwamen er eigenlijk?" of "Gebruiken ze meer cijfers of meer verhalen?". Het was een rommeltje van informatie dat te groot was om met de hand te sorteren.

2. De Oplossing: De slimme robot-assistent

De onderzoekers gebruikten een nieuw soort hulpmiddel: een kleine, slimme taalcomputer (een "Small Language Model").

• De analogie: Stel je voor dat je een hele berg ongestructureerde post hebt. In plaats van dat je zelf elke envelop opent en de inhoud uitschrijft (wat jaren zou duren), geef je deze berg aan een slimme, snelle robot.
• Wat deed de robot? Deze robot las alle abstracts (samenvattingen) van de afgelopen 20 jaar, haalde de namen van de auteurs eruit, vond hun werkplek (universiteit of organisatie) en keek of het onderzoek gebaseerd was op cijfers (kwantitatief) of op verhalen en interviews (kwalitatief).
• Het slimme detail: Ze gebruikten een kleine robot, geen gigantische. Dat is als het verschil tussen een zware vrachtwagen die veel benzine verbruikt en een efficiënte elektrische fiets. De kleine robot werkt snel, kost weinig energie en kan zelfs op een gewone laptop draaien zonder dat je de hele wereldverbinding nodig hebt.

3. Wat hebben ze ontdekt? (De Schatkaart)

Na het sorteren van bijna 24.000 presentaties en 70.000 auteurs, zagen ze een fascinerend verhaal ontstaan:

• Het festival groeit als een kool: In 2005 waren er nog maar 423 presentaties. In 2026 waren dat er bijna 2.000! Het aantal onderzoekers verdubbelt ongeveer elke tien jaar. Het is een enorme explosie van interesse in sociaal werk-onderzoek.
• Meer samenwerken: Vroeger stonden onderzoekers vaak alleen op het podium. Nu werken ze in grotere teams. Het gemiddelde aantal mensen op één presentatie is gestegen van 2 naar meer dan 3. Het is alsof mensen niet meer alleen in hun eentje een tent bouwen, maar samen een heel festivalcomplex opzetten.
• De balans tussen cijfers en verhalen: Voorheen waren er veel meer presentaties met harde cijfers en statistieken (zoals een rekenmachine). Nu zien we dat het aantal presentaties met verhalen, interviews en diepgang (kwalitatief) flink is gegroeid. De wereld van sociaal werk gebruikt steeds meer beide methoden, maar de cijfers zijn nog steeds de grootste groep.
• Wereldwijd netwerk: Vroeger kwamen bijna alle sprekers uit de VS. Nu zien we steeds meer gezichten uit Canada, Zuid-Korea, Israël en andere delen van de wereld. Het festival wordt steeds meer een wereldfeest, al zijn er soms nog obstakels (zoals visaproblemen of dure reiskosten) die mensen uit het buitenland tegenhouden.
• Wie zit er in de zaal? Het is een mix van studenten die net beginnen (vooral promovendi) en ervaren professoren. Het is een plek waar de nieuwe generatie leert van de oude, en waar iedereen samenwerkt.

4. Waarom is dit belangrijk?

Dit onderzoek is niet alleen maar een statistiekenspelletje. Het is als het bouwen van een bibliotheek van de toekomst.

• Omdat ze nu een georganiseerde database hebben, kunnen onderzoekers in de toekomst vragen beantwoorden zoals: "Verandert de manier waarop we sociale problemen bestuderen?" of "Zijn er bepaalde universiteiten die steeds meer leiderschap tonen?"
• Het maakt het onderzoek van sociaal werk zichtbaar. Vaak verdwijnen deze presentaties na het congres in de vergetelheid. Nu zijn ze vastgelegd in een digitaal archief dat iedereen kan gebruiken om patronen te zien die anders verborgen zouden blijven.

Samenvattend

Deze paper laat zien hoe moderne technologie (slimme, kleine computers) ons helpt om uit een chaotische berg losse briefjes een helder, overzichtelijk beeld te maken van hoe een heel wetenschapsgebied zich ontwikkelt. Het is alsof ze een duisternis hebben opgelicht en laten zien hoe een levendige, groeiende gemeenschap van onderzoekers samenwerkt om de wereld een beetje beter te maken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "AI-Assisted Curation of Conference Scholarship" in het Nederlands, opgedeeld volgens de gevraagde structuur.

Probleemstelling

Het onderzoek adresseert het gebrek aan gestructureerde data voor de analyse van wetenschappelijke bijdragen binnen het vakgebied sociaal werk. Hoewel de jaarlijkse conferentie van de Society for Social Work and Research (SSWR) sinds 1994 duizenden presentaties heeft gehost, zijn deze abstracts en bijbehorende metadata (auteurs, affiliaties, methodologie) opgeslagen als ongestructureerde tekst in een webarchief (Confex).

• Uitdaging: Het ontbreken van gestandaardiseerde metadata maakt het onmogelijk om systematische, grootschalige bibliometrische analyses uit te voeren over de ontwikkeling van het vakgebied.
• Beperkingen van bestaande methoden: Traditionele handmatige codering is te tijdrovend voor een dataset van deze omvang (decennia aan data). Bovendien zijn grote taalmodellen (LLM's) vaak afhankelijk van dure cloud-API's, wat zorgen oproept over kosten, privacy en de ecologische voetafdruk (energieverbruik).

Methodologie

De auteurs hebben een geautomatiseerde, maar mens-gesuperviseerde pijplijn ontwikkeld om ongestructureerde webdata om te zetten in een analyseerbare database voor de periode 2005–2026.

1. Dataverzameling (Web Scraping):

   • Gebruik van aangepaste scripts (Python, bibliotheek Crawl4AI) om data te extraheren van het SSWR Confex-archief.
   • Parsing van HTML-pagina's met BeautifulSoup4 en de lxml-parser.
   • Aanpassing van de logica voor verschillende jaren, aangezien de HTML-structuur van de website over de 22-jarige periode is veranderd (o.a. tussen 2005-2008 en latere jaren).
   • Filteren: Alleen presentaties met abstracts van minimaal 50 tekens werden behouden; workshops en keynote speeches werden uitgesloten.

2. AI-gestuurde Extractie en Classificatie:

   • Model: Er werd gebruikgemaakt van een lokaal gehoste Small Language Model (SLM), specifiek gpt-oss:20b (20 miljard parameters). Dit model kan lokaal draaien zonder cloud-API's, wat privacy waarborgt en kosten/energie verlaagt.
   • Taken:
     • Affiliatie-parsing: Extractie van gestructureerde velden (naam, titel, instelling, land) uit ongestructureerde tekstreeksen.
     • Methodologie-classificatie: Indeling in vijf categorieën: kwantitatief, kwalitatief, mixed methods, review, en theoretisch/anders.
   • Validatie: Menselijke review op elke grote stap. Voor methodologie-classificatie werd een Cohen's kappa van .83 berekend tussen mens en model (bijna perfecte overeenstemming).

3. Data Normalisatie en Entity Resolution:

   • Auteurs: Naamnormalisatie via NFKD-algoritme (voor accenten) en een grafiekgebaseerd systeem (NetworkX, RapidFuzz) om unieke onderzoekers te identificeren ondanks variaties in naamnotatie. Een drempelwaarde van 90% gelijkenis werd gebruikt.
   • Instellingen: Een mapping-tabel werd gegenereerd om variaties (bijv. "U. Michigan" vs. "University of Michigan") te standaardiseren naar canonieke namen.
   • Posities: Classificatie van academische rollen (bijv. doctoraatsstudent, universitair hoofddocent) via regex-patronen.

4. Analyse:

   • Statistische analyses uitgevoerd met Python (pandas), inclusief berekening van de Compound Annual Growth Rate (CAGR) en trends in samenwerking en geografische spreiding.

Belangrijkste Bijdragen

• Infrastructuur: Creatie van een omvangrijke, gestructureerde database met 23.793 presentaties en 69.924 auteursrecords over twee decennia.
• Technologische Innovatie: Demonstratie dat Small Language Models (SLM's) lokaal kunnen worden ingezet voor complexe NLP-taken (entity extraction, classificatie) met hoge nauwkeurigheid, zonder afhankelijkheid van dure cloud-diensten. Dit democratiseert toegang tot geavanceerde tekstanalyse voor vakgebieden met beperkte middelen.
• Longitudinale Dataset: Voor het eerst is er een volledig overzicht van de SSWR-conferentie beschikbaar, wat longitudinale studies mogelijk maakt die eerder niet uitvoerbaar waren.

Resultaten

• Groei: Het aantal presentaties steeg van 423 in 2005 naar 1.935 in 2026, met een CAGR van 7,5%. Er was een opmerkelijke sprong in 2015 (46% groei in één jaar).
• Methodologie: Kwantitatieve methoden domineren (61,1%), maar er is een duidelijke trend naar meer diversiteit: kwalitatief onderzoek steeg van 15% naar 30%, en reviews van 1,7% naar 8%.
• Samenwerking: Het gemiddelde aantal auteurs per presentatie steeg van 2,22 (2005) naar 3,31 (2026). Het aandeel enkelvoudige auteurs nam af van 38% naar 21%, terwijl presentaties met vier of meer auteurs toenamen van 16% naar 38%.
• Demografie: Doctorale studenten (19,0%) en universitair hoofddocenten (19,6%) zijn de grootste groepen.
• Internationaal: Internationale participatie (buiten de VS) groeide van 4,5% in 2005 naar 13,7% in 2026, hoewel er een recente daling is in internationale eerste auteurs, mogelijk door geopolitieke factoren en reiskosten.
• Unieke Entiteiten: De database omvat 20.779 unieke onderzoekers van 4.049 instellingen in 93 landen.

Betekenis en Implicaties

• Voor het vakgebied: De database biedt een nieuwe infrastructuur om hypothesen te toetsen over de ontwikkeling van onderzoeksprioriteiten, methodologische verschuivingen en de rol van theorie in sociaal werk. Het maakt zichtbaar hoe het veld evolueert voordat onderzoek in tijdschriften wordt gepubliceerd.
• Voor de conferentie: De groeiende schaal van de SSWR-conferentie biedt meer kansen voor participatie, maar brengt ook uitdagingen met zich mee voor de toegankelijkheid en de kwaliteit van uitwisseling. De data onderstreept de noodzaak van mentorshipprogramma's voor vroege carrières.
• Voor wetenschappelijke methoden: Het artikel bewijst dat lokale SLM's een duurzaam, kostenefficiënt en ethisch verantwoord alternatief zijn voor grote cloud-modellen bij het cureren van wetenschappelijke archieven. Dit opent de deur voor vergelijkbare analyses in andere disciplines die kampen met ongestructureerde data.

De studie concludeert dat door AI-gestuurde curatie van conferentie-abstracts, het mogelijk wordt om de vroege vorming van wetenschappelijk werk systematisch te analyseren, wat leidt tot een beter begrip van de dynamiek binnen het sociaal werk als discipline.