💻 computer science

Industry Practitioners Perspectives on AI Model Quality: Perceptions, Challenges, and Solutions

Dit onderzoek, gebaseerd op interviews met en een enquête onder AI-praktijkers, identificeert negen cruciale kwaliteitsattributen, benadrukt dat prioriteiten contextafhankelijk zijn en dat data-ongelijkheid een grote uitdaging vormt, om zo onderzoekers te helpen zich te richten op de voor de industrie meest waardevolle aspecten.

Oorspronkelijke auteurs: Chenyu Wang, Zhou Yang, Yunbo Lyu, Ze Shi Li, Daniela Damian, David Lo

Gepubliceerd 2026-04-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chenyu Wang, Zhou Yang, Yunbo Lyu, Ze Shi Li, Daniela Damian, David Lo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superchef bent die een nieuwe, revolutionaire saus moet maken. In het verleden was het enige doel dat de saus lekker smaakte (dat noemen we correctheid). Maar nu blijkt dat die saus ook snel op tafel moet komen (efficiëntie), niet bederven als het warm wordt (robustheid), voor iedereen even goed is (fairness), en dat je kunt uitleggen waarom je precies die kruiden hebt gebruikt (uitlegbaarheid).

Dit artikel is als een verslag van een groot diner waar 15 professionele koks (AI-experts uit de industrie) en 50 andere chefs (via een enquête) zijn uitgenodigd. Ze vertellen niet over de theorie van het koken, maar over wat er echt gebeurt in de drukke keuken van de echte wereld.

Hier is wat ze hebben ontdekt, vertaald naar begrijpelijke taal:

1. Snelheid is de nieuwe Koning (maar smaak moet nog wel goed zijn)

In de academische wereld proberen ze de allerlekkerste saus te maken, hoe lang het ook duurt. In de echte wereld (bijvoorbeeld bij een app die je in 1 seconde een product moet aanbevelen) is snelheid alles.

De analogie: Als je saus perfect smaakt maar 10 seconden te laat op tafel komt, is de klant al vertrokken. De koks zeggen: "We maken de saus iets minder complex als dat betekent dat hij binnen 1 seconde klaar is." Snelheid en kosten zijn de harde grenzen; de perfecte smaak moet daarbinnen passen.

2. De "Zware Last" is verdwenen (Dankzij de Hulp van de Infrastructuur)

Vroeger moesten koks zelf zorgen voor de oven, het gas, de afwas en het hele restaurantgebouw. Dat was lastig.

De analogie: Vandaag de dag hebben ze een super-keukenbedrijf (cloud-platforms en microservices) ingehuurd. De AI-ontwikkelaars hoeven zich geen zorgen meer te maken of de oven groot genoeg is voor 10.000 gasten of of de saus in een andere stad kan worden geserveerd. Die "zware last" van schaalbaarheid en installatie is overgenomen door de infrastructuur. De koks kunnen zich nu weer focussen op het recept zelf.

3. De Politie bepaalt het Menu (Compliance)

Soms is het niet de chef die beslist wat er op het menu staat, maar de politie en de wet.

De analogie:
- Veiligheid: Als de saus giftig kan zijn (bijv. een AI die gevaarlijke instructies geeft), moet hij onmogelijk te "kraken" zijn.
- Rekenen: Als je een bankbedrijf bent, mag je niet zomaar zeggen "ik heb je lening geweigerd omdat de computer het zei." Je moet het kunnen uitleggen (uitlegbaarheid).
- Gelijkheid: Je mag geen discriminatie toepassen op basis van geslacht of huidskleur.
  De wet dwingt de koks om bepaalde kwaliteiten (zoals veiligheid en eerlijkheid) als allerbelangrijkst te zien, ongeacht of ze dat zelf zo hadden gekozen.

4. Waarom Uitlegbaar zijn? Twee Redenen

Waarom willen ze weten hoe de saus tot stand is gekomen?

Voor de Chef: Om te weten waarom de saus soms bitter is, zodat hij het kan repareren (debuggen).
Voor de Gast: Om de gast gerust te stellen. Als een gast ziet waarom de app een bepaald restaurant aanbeveelt ("Omdat jij altijd om 18:00 uur thee drinkt"), voelt hij zich begrepen en vertrouwt hij de machine meer.

De Grote Uitdagingen en Oplossingen

Probleem 1: De "Zeldzame Ingrediënten" (Data-ongelijkheid)
Stel, je wilt een saus maken die alleen werkt als er een heel zeldzaam kruid in zit. Maar je hebt maar 100 gram van dat kruid en 10.000 gram van de rest. De saus wordt dan niet goed.

De oplossing: In plaats van willekeurig meer kruiden te zoeken, gebruiken ze een slimme methode (Active Learning) waarbij de computer alleen de meest interessante nieuwe kruiden vraagt aan mensen om te labelen.
Voor het maken van extra kruiden: Ze gebruiken geen dure, complexe AI om nieuwe kruiden te "dromen" (generatieve AI), maar houden het simpel en betrouwbaar: ze knippen en plakken bestaande stukjes (traditionele vermeerdering) omdat ze precies weten wat ze doen.

Probleem 2: De Smaak verandert met de tijd (Data Drift)
Wat vandaag lekker is, smaakt morgen misschien anders omdat de voorkeuren van de mensen veranderen.

De oplossing: In plaats van een ingewikkelde sensor te bouwen die elke seconde meet of de smaak verandert (wat te duur en complex is), doen ze het simpel: "Elke maand maken we een nieuwe batch" of "Zodra we 100 nieuwe klanten hebben, maken we een nieuwe batch."

Probleem 3: Kosten vs. Snelheid
Soms willen ze een dure, snelle oven (GPU), maar die is te duur.

De oplossing: Ze "knijpen" het recept (model compressie) zodat het in een goedkopere, langzamere oven (CPU) past, maar nog steeds snel genoeg is voor de klant. Het is slimme engineering om geld te besparen zonder kwaliteit te verliezen.

Probleem 4: Het Labelen van Ingrediënten
Mensen moeten vaak handmatig kruiden controleren, wat duur is.

De oplossing: De AI doet het eerste werk (voorspelt welke kruiden goed zijn) en de mens kijkt alleen nog maar naar de twijfelgevallen. Dit is goedkoper en soms zelfs nauwkeuriger, omdat de AI geen "blinde vlekken" heeft die twee mensen samen wel hebben.

Conclusie

Dit onderzoek zegt eigenlijk: "Stop met het bouwen van theorieën die in de praktijk niet werken."

De echte wereld is anders dan de universiteit. Soms moet je kiezen tussen perfectie en snelheid. Soms is de wet de baas. En soms is de oplossing niet de nieuwste, coolste technologie, maar een slimme, simpele aanpak die geld bespaart en betrouwbaar is. De onderzoekers hopen dat wetenschappers hier rekening mee houden, zodat ze tools maken die echt helpen in de keuken van morgen.

Probleemstelling

Kunstmatige Intelligentie (AI) is tegenwoordig alomtegenwoordig, maar het waarborgen van de kwaliteit van AI-modellen blijft een kritieke uitdaging. In tegenstelling tot traditionele software, die werkt op basis van deterministische logica, zijn AI-modellen data-gedreven en vaak "black boxes". Dit maakt klassieke kwaliteitsverzekeringsmethoden (zoals het specificeren van één correcte output per test) vaak ongeschikt.

Hoewel academisch onderzoek zich vaak richt op algemene eigenschappen zoals correctheid en robuustheid, is er een kloof tussen academische theorie en industriële praktijk. Industriele AI-modellen zijn complexer, moeten voldoen aan domeinspecifieke regelgeving en hebben andere prioriteiten dan die in onderzoeksartikelen worden gepresenteerd. Er ontbreekt een gedetailleerd inzicht in hoe industriële professionals kwaliteitseigenschappen waarnemen, welke specifieke uitdagingen zij tegenkomen en welke praktische oplossingen zij toepassen.

Methodologie

De auteurs hebben een mixed-methods onderzoek uitgevoerd bestaande uit drie fasen:

Selectie van Kwaliteitseigenschappen: Aan de hand van literatuurstudie (o.a. ISO/IEC 25059) en iteratieve validatie met experts, werden negen sleutelkwaliteitseigenschappen gedefinieerd:
- Correctheid, Robuustheid, Efficiëntie, Fairness (Eerlijkheid), Verklaarbaarheid, Privacy, Schaalbaarheid, Deployability (Implementeerbaarheid) en Onderhoudbaarheid.
Semigestructureerde Interviews: Er werden interviews gehouden met 15 AI-praktijkexperts uit diverse sectoren (financiën, e-commerce, IT) en landen (o.a. Singapore, VS, Canada). Deelnemers hadden 2 tot 10 jaar ervaring. Tijdens de interviews werd ingezoomd op hun percepties van de negen eigenschappen, de specifieke uitdagingen en de toegepaste oplossingen.
Validatie via Enquête: De uitkomsten van de interviews werden gevalideerd door middel van een enquête onder 50 industriële professionals. Respondenten beoordeelden de gevonden inzichten op een 5-puntsschaal (van "sterk oneens" tot "sterk akkoord").

Belangrijkste Bijdragen en Resultaten

De studie identificeerde vier kernpercepties en vier belangrijke uitdagingen met bijbehorende oplossingen:

1. Percepties over Kwaliteitseigenschappen

Efficiëntie als dominante constraint: In real-time toepassingen (zoals aanbevelingssystemen of fraudeopsporing) is efficiëntie (laag latency, lage kosten) vaak belangrijker dan maximale correctheid. Er bestaat een drievoudige afweging tussen kosten, latency en capaciteit. Als een systeem te traag is, wordt het door gebruikers verlaten, ongeacht de nauwkeurigheid. Voor offline modellen is dit minder kritiek.
Verschuiving van Schaalbaarheid en Deployability: Waar deze eerder als grote knelpunten werden gezien, worden ze nu grotendeels overgenomen door platform-infrastructuur (microservices, containers, cloud-auto-scaling). AI-teams focussen zich meer op het containeriseren van modellen en het blootstellen van API's, terwijl de infrastructuur het schalen en implementeren regelt.
Compliance als wetgevende specificatie: Regelgeving vertaalt zich direct naar prioriteiten voor kwaliteitseigenschappen.
- Veiligheid $\rightarrow$ Robuustheid (bijv. tegen "jailbreaking").
- Auditbaarheid $\rightarrow$ Verklaarbaarheid (vooral in financiën).
- Non-discriminatie $\rightarrow$ Fairness.
- Data-soevereiniteit $\rightarrow$ Privacy.
Dubbele rol van Verklaarbaarheid: Naast het voldoen aan compliance, dient verklaarbaarheid twee doelen: het debuggen van modellen door ontwikkelaars (onderhoudbaarheid) en het opbouwen van vertrouwen bij eindgebruikers door voorspellingen begrijpelijk te maken.

2. Uitdagingen en Oplossingen

Uitdaging: Data-ongelijkheid (Data Imbalance). Positieve gevallen (bijv. fraude) zijn vaak extreem zeldzaam (<0,1%).
- Oplossing: Actief leren (Active Learning) wordt effectief ingezet om nieuwe, representatieve data te verzamelen. Voor data-synthese blijven traditionele methoden (zoals SMOTE voor tabulaire data en regelgebaseerde augmentatie voor afbeeldingen) dominant boven complexe Generative AI-methoden, vanwege betere controle en stabiliteit.
Uitdaging: Data Drift. Het monitoren van veranderingen in data-distributies is complex en vaak onbetrouwbaar.
- Oplossing: Industrieel wordt vaak voorbijgegaan aan complexe drift-detectie. In plaats daarvan wordt gekozen voor pragmatische hertraining op basis van tijd (bijv. wekelijks) of datavolume (bijv. wanneer een bepaald aantal nieuwe labels is verzameld).
Uitdaging: Operationele kosten vs. Latentie. Real-time toepassingen vereisen snelheid en lage kosten.
- Oplossing: Een strategische verschuiving naar CPU-based inference gekoppeld aan modelcompressie (pruning, quantization, knowledge distillation). Dit is vaak goedkoper dan GPU's, vooral bij modellen met grote embedding tables, mits de latency-eisen worden gehaald.
Uitdaging: Labelkosten. Handmatig labelen is duur en tijdrovend.
- Oplossing: AI-gestunde annotatie, waarbij het model voor-labelt en mensen alleen conflicten oplossen. Dit kan niet alleen kosten besparen, maar ook de kwaliteit verhogen door menselijke "blinde vlekken" te doorbreken.

Validatie

De enquête onder 50 professionals bevestigde dat 7 van de 8 belangrijkste bevindingen breed worden erkend in de industrie (gemiddelde score > 4.0). De enige uitzondering was de effectiviteit van AI-gestunde annotatie, die als "marginaal akkoord" werd beoordeeld (3.98), voornamelijk vanwege twijfels over de toepasbaarheid in zeer gespecialiseerde domeinen.

Significantie en Implicaties

Deze studie biedt een realistisch beeld van de huidige staat van AI-engineering in de industrie:

Voor Onderzoekers: Het helpt om prioriteiten te stellen bij het ontwikkelen van nieuwe technieken. Onderzoek moet zich richten op eigenschappen die in de praktijk waardevol zijn (zoals de afweging tussen efficiëntie en correctheid) en niet alleen op theoretische optimalisaties.
Voor Praktijkers: Het biedt gevalideerde best practices, zoals het gebruik van actief leren voor data-ongelijkheid en het vertrouwen op platform-infrastructuur voor schaalbaarheid.
Verschil met Academie: Het benadrukt dat industriële oplossingen vaak pragmatischer zijn (bijv. traditionele augmentatie boven generatieve AI voor data-synthese) en dat regelgeving een directe sturende kracht is voor kwaliteitsprioriteiten.

Kortom, de studie verlegt de focus van puur theoretische modelkwaliteit naar een holistische benadering die rekening houdt met bedrijfsdoelen, infrastructuur en regelgeving.