LLLMs: A Data-Driven Survey of Evolving Research on Limitations of Large Language Models

Deze data-gedreven survey analyseert de groeiende onderzoeksstroom naar beperkingen van grote taalmodellen (LLLMs) tussen 2022 en 2025, waarbij redeneren als meest bestudeerd thema naar voren komt en een significant verschuiving in onderzoekstrends tussen ACL en arXiv wordt vastgesteld.

De kern

De Grote LLM-Inspectie: Een Reis door de Zwakke Plekken van de Slimme Robots

Stel je voor dat je een enorme bibliotheek binnenloopt, maar in plaats van boeken met verhalen, staan de schappen vol met wetenschappelijke artikelen over Large Language Models (LLMs). Dat zijn die slimme computerprogramma's (zoals de AI waar je nu mee praat) die tekst kunnen schrijven, vertalen en vragen beantwoorden.

Sinds 2022 is deze bibliotheek niet alleen gegroeid, maar is hij explosief gegroeid. Het is alsof er elke seconde een nieuw boek wordt geschreven. Maar hier is het probleem: niemand heeft meer tijd om al die boeken te lezen. We weten dat deze slimme robots soms fouten maken, maar we weten niet precies welke fouten het vaakst voorkomen of hoe de aandacht daarvoor verandert.

Dit paper is als een superkrachtige bibliotheekbeheerder die een robot heeft ingehuurd om alle boeken te scannen, te categoriseren en een verslag te maken. Hier is wat ze hebben ontdekt, vertaald naar simpele taal:

1. De "Kijkcijfers" van de Robots

De onderzoekers keken naar bijna 250.000 artikelen. Het resultaat?

• De hype is echt: Tussen 2022 en 2025 is het aantal artikelen over deze robots in de academische wereld met wel 8 keer toegenomen.
• De kritiek groeit sneller: Interessant is dat niet alleen de lof groeit, maar ook de kritiek. Het aantal artikelen dat specifiek kijkt naar de fouten en beperkingen van deze robots, is zelfs nog sneller gegroeid. In 2025 is meer dan 30% van alle robot-onderzoek gewijd aan het vinden van hun zwakke plekken. Het is alsof we eerst alleen juichten over de nieuwe auto's, en nu plotseling allemaal de remmen en banden controleren.

2. Wat zijn de grootste "Klachten"?

De robot-beheerder heeft de boeken in stapels gezet. De grootste stapels (de meest onderzochte problemen) zijn:

• Het "Redeneren" (Reasoning): Dit is de nummer 1 klacht. Robots zijn goed in woorden, maar soms slecht in logisch nadenken. Het is alsof ze een woordenboek uit hun hoofd kennen, maar geen wiskundig probleem kunnen oplossen zonder te gokken.
• De "Hallucinaties": Dit is misschien wel het bekendste probleem. De robots vertellen dingen die er niet zijn, alsof ze in een droom leven. Ze verzinnen feiten met een glimlach.
• Vooroordelen (Bias): Soms zijn de robots net als een mens die op een verkeerde manier is opgevoed: ze hebben vooroordelen over geslacht, cultuur of ras.
• Veiligheid: Kunnen hackers de robots om de tuin leiden? Kunnen ze kwaadaardige instructies krijgen? Dit wordt steeds belangrijker.

3. Twee Verschillende Kijkers

De onderzoekers gebruikten twee verschillende methoden om de boeken te sorteren (zoals twee verschillende detectives die dezelfde moordzaak onderzoeken):

1. De "Dichtbij" methode: Kijkt naar woorden die vaak samen voorkomen.
2. De "Slimme Robot" methode: Laat een andere AI de inhoud samenvatten en categoriseren.

Hoewel deze twee methoden soms iets anders tellen, komen ze op de grote lijnen overeen. Dat geeft ons vertrouwen: de resultaten zijn betrouwbaar.

4. Verschil tussen de "Strenge School" en de "Vrije Markt"

De onderzoekers keken naar twee soorten bronnen:

• De "Strenge School" (ACL): Dit zijn de gecontroleerde, peer-reviewed conferenties. Hier blijft de interesse in fouten redelijk stabiel. Het is alsof de studenten hier rustig blijven studeren.
• De "Vrije Markt" (arXiv): Dit is waar onderzoekers hun werk direct online zetten, vaak maanden voordat het officieel gepubliceerd is. Hier zie je een explosie van nieuwe zorgen. Mensen zijn hier veel sneller bezorgd over veiligheid, privacy en het aanpassen van de robots aan menselijke waarden. Het is alsof hier de laatste nieuwsberichten en paniekreacties sneller gaan dan in de officiële kranten.

5. De Grote Verandering: Van "Gewoon" naar "Gevaarlijk"

Vroeger (in 2022) was de discussie vooral over "Kunnen ze dit doen?". Nu (in 2024/2025) is de discussie verschoven naar "Wat gebeurt er als ze dit niet goed doen?".

• Er is meer aandacht voor veiligheid (hoe voorkomen we dat ze kwaad doen?).
• Er is meer aandacht voor multimodaliteit (wat als ze niet alleen tekst, maar ook foto's en video's bekijken? Kunnen ze dan ook hallucineren?).
• Er is meer aandacht voor lange teksten (kunnen ze een heel boek onthouden of vergeten ze halverwege wat er stond?).

Conclusie: Waarom is dit belangrijk?

Dit onderzoek is als een gezondheidscheck voor de AI-industrie.
Het laat zien dat we niet alleen blij zijn met de snelle groei van deze technologie, maar dat we ook serieus bezig zijn om te kijken waar ze struikelen. We weten nu dat redeneren en hallucineren de grootste pijnpunten zijn, en dat de wereld zich steeds meer zorgen maakt over veiligheid en controle.

Kortom: We bouwen een vliegtuig dat steeds sneller vliegt, en dit onderzoek is de inspectie die zegt: "Het vliegtuig is geweldig, maar we moeten de vleugels (de logica) en de remmen (de veiligheid) nog sterker maken voordat we met duizenden passagiers de lucht in gaan."

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "LLLMs: A Data-Driven Survey of Evolving Research on Limitations of Large Language Models", geschreven in het Nederlands.

Titel: LLMs: A Data-Driven Survey of Evolving Research on Limitations of Large Language Models (LLLMs)

Auteurs: Aida Kostikova et al. (Universiteit van Bielefeld, TU Nürnberg, Universiteit van Mannheim)

---

1. Het Probleem

Met de explosieve groei van onderzoek naar en de implementatie van Large Language Models (LLMs) is de aandacht voor hun beperkingen (LLLMs) sterk toegenomen. Deze beperkingen variëren van redeneringsfouten en hallucinaties tot sociale vooroordelen en veiligheidsrisico's.

• Uitdaging: Het handmatig bijhouden van een actueel overzicht van dit onderzoek is onmogelijk geworden door de enorme hoeveelheid gepubliceerde papers (tienduizenden per jaar).
• Bestaande lacune: Eerdere overzichten focusten vaak op specifieke beperkingen (bijv. alleen redenering) of op algemene model-evaluaties, maar ontbraken een systematisch, kwantitatief overzicht dat de evolutie van alle beperkingen van 2022 tot begin 2025 bestrijkt.

2. Methodologie

De auteurs hanteren een datagedreven, bottom-up benadering met een semi-geautomatiseerde pipeline om een systematisch literatuuroverzicht te creëren.

• Data Retrieval:
  • Verzameling van bijna 250.000 papers uit de ACL Anthology (2022-2024) en arXiv (2022-begin 2025).
  • Doelgebieden: NLP, AI, Machine Learning en Computer Vision.
• Filtering (Selectie):
  1. Keyword-filtering: Gebruik van een iteratief proces met TNT-KID om een lijst van 90 relevante sleutelwoorden te genereren. Dit reduceerde de dataset naar ~64.000 papers.
  2. LLM-based classificatie: Een Large Language Model (Llama-3.1-70b-Instruct) evalueerde de abstracts op een schaal van 0 tot 5 (waarbij 0 geen LLMs noemt en 5 volledig gefocust is op beperkingen).
  3. Validatie: De LLM-classificatie werd gevalideerd tegen een "gouden standaard" van 445 door mensen geannoteerde papers. De beste LLM-prompt-configuratie bereikte een overeenstemming (Weighted Cohen's Kappa) van 0,74, wat dicht bij menselijke overeenstemming ligt.
• Clustering (Topic Modeling):
  • Twee verschillende methoden werden gebruikt om de papers te clusteren op basis van de geëxtraheerde bewijsstukken over beperkingen:
    1. HDBSCAN + BERTopic: Een dichtheidsgebaseerde, single-label clustering.
    2. LlooM (LLM-based Concept Induction): Een multi-label methode waarbij een LLM concepten genereert en papers toewijst.
  • Dit dubbele aanpak zorgt voor cross-validatie en vermindert methodologische bias.

3. Belangrijkste Bijdragen

1. Grootste Dataset: Een dataset van 14.648 geannoteerde abstracts die specifiek ingaan op beperkingen van LLMs, beschikbaar gesteld voor verdere research.
2. Geverifieerde Methodologie: Een semi-geautomatiseerde pipeline voor het analyseren van wetenschappelijke literatuur, gevalideerd door menselijke experts, die schaalbaar is voor toekomstige surveys.
3. Kwantitatieve Inzichten: Het eerste uitgebreide overzicht van de evolutie van LLLM-onderzoek over de periode 2022 tot begin 2025, inclusief trends in verschillende academische domeinen.

4. Resultaten

A. Groeitrends

• Explosieve groei: Het aandeel papers over LLMs is tussen 2022 en 2025 meer dan 5-voudig toegenomen in ACL en bijna 8-voudig in arXiv.
• Versnelling van LLLM-onderzoek: Onderzoek naar beperkingen groeit zelfs sneller dan LLM-onderzoek in het algemeen. In Q1 2025 maakt onderzoek naar beperkingen meer dan 30% uit van alle LLM-papers.
• Verschuiving: De NLP-gemeenschap is verschoven van puur capaciteitsgericht onderzoek naar een kritische evaluatie van risico's en tekortkomingen.

B. Belangrijkste Onderwerpen (Topics)

De meest bestudeerde beperkingen zijn (in volgorde van prevalentie):

1. Redenering (Reasoning): De meest onderzochte beperking, vooral in ACL.
2. Generalisatie, Hallucinaties, Vooroordelen (Bias) en Veiligheid.
3. Dynamische verschuivingen:
   • ACL: Relatief stabiele verdeling van topics.
   • arXiv: Sterke verschuiving naar thema's rondom veiligheid, controleerbaarheid (alignment), kennis-editing en hallucinaties, evenals multimodaliteit.
   • Tijdsverloop: Na de lancering van ChatGPT (eind 2022) stabiliseerden de trends rond medio 2023. Thema's zoals Security Risks en Alignment namen sterk toe, terwijl Bias and Fairness in relatieve termen afnam.

C. Domeinspecifieke Trends

• cs.CL (Computation & Language): Gedomineerd door Redenering en Hallucinaties.
• cs.CV (Computer Vision): Sterke focus op Multimodaliteit (integratie van tekst en beeld).
• cs.CR (Cryptography/Security): Gedomineerd door Security Risks (adversarial attacks, privacy).
• cs.HC & cs.CY: Focus op ethische aspecten, sociale vooroordelen en mens-computer interactie.

D. Methodologische Validatie

• Hoewel HDBSCAN en LlooM verschillende granulariteiten hebben (single-label vs. multi-label), identificeren beide methoden dezelfde dominante clusters (Redenering, Hallucinaties, Veiligheid) en tonen ze vergelijkbare trendpatronen. Dit bevestigt de robuustheid van de bevindingen.

5. Betekenis en Conclusie

Deze survey toont aan dat het onderzoeksveld rondom LLMs aan het rijpen is. De euforie rondom nieuwe modellen wordt steeds meer gevolgd door een kritische, systematische analyse van hun falen.

• Praktische relevantie: Het in kaart brengen van deze beperkingen is essentieel voor de veilige implementatie van LLMs in kritieke domeinen zoals gezondheidszorg, juridische zaken en financiën.
• Toekomstige richting: Het onderzoek wijst erop dat beperkingen zoals hallucinaties en veiligheidsrisico's inherent zijn aan de architectuur van LLMs en niet volledig verdwijnen, maar dat de focus verschuift naar het beheersen en mitigeren van deze risico's.
• Open Science: De publicatie van de dataset en de methodologie stelt de gemeenschap in staat om deze trends continu bij te werken naarmate nieuwe modellen verschijnen.

Kortom, dit werk biedt een cruciaal, kwantitatief fundament om te begrijpen waar de LLM-gemeenschap zich op richt, welke problemen nog onopgelost zijn en hoe de onderzoeksagenda evolueert in reactie op de snelle technologische vooruitgang.