Flaws in the LLM Automation Narrative

Technische Samenvatting: Gebreken in het Narratief van LLM-Automatisering

Probleemstelling
Het heersende narratief rondom Large Language Models (LLM's) stelt dat zij presteren op het niveau van menselijke experts bij taken in de kenniseconomie. Deze claim wordt grotendeels ondersteund door benchmark-datasets (bijv. GDPVal) die het aandeel correct beantoonde vragen meten. De auteurs betogen dat dit evaluatieparadigma lijdt onder drie kritieke gebreken die de capaciteiten van LLM's overdrijven:

1. Benchmark-contaminatie: Hoge prestaties komen vaak voort uit het feit dat LLM's benchmarkvragen en -antwoorden hebben gezien in hun trainingsdata, in plaats van dat ze algemene intelligentie demonstreren.
2. Genegeerde Stochastiek: Standaard benchmarks meten zelden de variantie van reacties. Het vermogen van een LLM om in één instantie een correcte output te produceren, garandeert geen consistentie in toekomstige instanties.
3. Binaire Prestatie-metrieken: Huidige evaluaties richten zich op nauwkeurigheid (correct/incorrect), terwijl de omvang van fouten wordt genegeerd. In contexten met hoge inzet (bijv. programmeren, financiën) is een catastrofale fout (bijv. het verwijderen van een database) veel consequenter dan een kleine fout, maar huidige metrieken slagen er niet in dit onderscheid te leggen.

Deze beperkingen dragen bij aan een discrepantie waarbij LLM's goed presteren op benchmarks, maar falen in de praktijk, wat vaak resulteert in een gebrek aan rendement op investeringen (ROI).

Methodologie
Om deze gebreken aan te pakken, ontwierpen de auteurs een nieuwe benchmarking-taak gebaseerd op de 2016 American Causal Inference Conference (ACIC) Data Competition. Deze setting werd gekozen omdat:

• Het het schrijven van uitvoerbare computercode vereist om 7.700 unieke datasets te analyseren, wat het risico op contaminatie van trainingsdata vermindert (aangezien de specifieke datasets en code niet publiek waren).
• Het een "ground truth" bevat (gesimuleerde behandelingseffecten), wat een nauwkeurige foutmeting mogelijk maakt.
• Het een natuurlijke controlegroep biedt van menselijke PhD-niveau statistici.

Experimenteel Ontwerp:

• Model: De studie evalueerde ChatGPT Codex 5.2, geselecteerd omdat OpenAI expliciet beweert dat hun modellen beschikken over PhD-niveau expertise.
• Taak: Het model werd geprompt met dezelfde gedetailleerde instructies als de menselijke deelnemers in 2016 om een enkel uitvoerbaar script te genereren dat in staat is alle 7.700 datasets te analyseren.
• Procedure: De auteurs genereerden 20 onafhankelijke uitvoerbare scripts vanuit de LLM. Elk script werd uitgevoerd tegen de volledige dataset.
• Metrieken: In tegenstelling tot binaire benchmarks, maakte de studie gebruik van continue metrieken om de omvang van de fout en de variantie te meten:
  • Root Mean Squared Error (RMSE): Meet de gemiddelde omvang van de fouten.
  • Gestandaardiseerde Bias: Meet de richting en consistentie van over- of onderschatting.
  • Interval Coverage: De proportie van 9ges 95% onzekerheidsintervallen die de ware waarde bevatten.
  • Interval Lengte: De breedte van de onzekerheidsintervallen (genormaliseerd door de standaarddeviatie van de uitkomst).

Belangrijkste Resultaten

1. Catastrofale Foutpercentages: Van de 20 gegenereerde scripts faalden er 3 (15%) door programmeerfouten. Van de 17 die wel draalden, produceerden 5 "catastrofaal grote" fouten. Zo hadden twee scripts RMSE-waarden die de uitkomstvariabele met meer dan 100 miljard standaarddeviaties overschreden.
2. Inferieure Gemiddelde Prestaties: De meerderheid van de LLM-inzendingen presteerde aanzienlijk slechter dan menselijke experts (PhD-niveau). Hoewel een subset van 8 LLM-inzendingen (die causal forests gebruikten via het grf R-pakket) een RMSE en bias bereikten die vergelijkbaar waren met mid-tier menselijke prestaties, mat geen enkele LLM-inzending de toppresteerders onder de mensen.
3. Extreme Variantie: De belangrijkste bevinding was de discrepantie in consistentie.
   • Menselijke Experts: Toonden een lage variantie (Standaarddeviatie van RMSE ≈ 0,029).
   • LLM (ChatGPT Codex 5.2): Toonde een astronomische variantie (Standaarddeviatie van RMSE ≈ 58 miljard). Zelfs na het verwijderen van de slechtste uitschieters bleef de variantie van de LLM orders van grootte hoger dan die van mensen.
4. Implementatiefouten: LLM's die probeerden complexe statistische methoden (zoals Inverse Propensity Treatment Weighting) vanaf nul te implementeren, faalden consistent door conceptuele fouten. De prestaties verbeterden alleen wanneer de LLM bestaande, robuuste R-pakketten gebruikte (bijv. grf) die de complexe implementatiedetails abstraheren.
5. Onzekerheidskwantificatie: LLM-inzendingen vertoonden systematisch "onderdekking" (faalden om de ware waarde in 95% van de intervallen in te sluiten) en produceerden intervallengtes die vaak miljarden keren breder waren dan nodig, wat wijst op een falen in het correct kwantificeren van onzekerheid.

Belangrijkste Bijdragen

• Nieuwe Benchmarking-aanpak: De studie introduceert een benchmark die expliciet de omvang van de fout en de respons-variantie meet, verder gaand dan eenvoudige nauwkeurigheidspercentages.
• Empirisch Bewijs Tegen "Expert" Pariteit: De resultaten leveren direct bewijs dat frontier LLM's, in een complexe data-analyse taak, niet consistent op het niveau van menselijke PhD-experts presteren.
• Identificatie van Betrouwbaarheidsrisico's: Het artikel benadrukt dat het primaire risico van LLM's niet een gebrek aan capaciteit is, maar een gebrek aan consistentie en betrouwbaarheid. De frequentie van catastrofale fouten maakt ze ongeschikt voor geautomatiseerde workflows zonder strikt menselijk toezicht.

Betekenis en Claims
De auteurs beweren dat hun bevindingen het "LLM-automatisering-narratief" uitdagen, dat suggereert dat LLM's klaar zijn om menselijke experts te vervangen. Zij stellen dat:

• Huidige benchmarking-paradigma's onvoldoende zijn omdat ze de omvang van fouten en de stochastische aard van LLM-outputs negeren.
• De geobserveerde discrepantie tussen hoge benchmarkscores en slechte industriële implementatie wordt verklaard door het niet meten van variantie en de neiging tot catastrofale fouten.
• Hoewel LLM's concurrerende resultaten kunnen produceren wanneer ze worden gestuurd door robuuste tools (zoals specifieke R-pakketten), worstelen ze met het implementeren van complexe statistische methoden vanaf nul.
• De hoge variantie en de neiging tot catastrofale fouten suggereren dat LLM's nog niet betrouwbaar kunnen worden ingezet als vervanging voor menselijke experts in situaties met hoge inzet zonder aanzienlijke menselijke interventie om de outputs te verifiëren.

Het artikel concludeert dat het begrijpen en documenteren van deze variabiliteit essentieel is voor het beoordelen van de maatschappelijke risico's van de inzet van LLM's, aangezien de huidige focus op "gemiddelde nauwkeurigheid" de realiteit van onbetrouwbare en potentieel gevaarlijke outputs maskeert.