Five Fatal Assumptions: Why T-Shirt Sizing Systematically Fails for AI Projects
Dit artikel betoogt dat T-shirt-schaling voor AI-projecten systematisch faalt vanwege vijf onjuiste aannames en pleit daarom voor de 'Checkpoint Sizing'-methode, die scope en haalbaarheid iteratief herbeoordeelt op basis van feitelijke ontwikkelingsinzichten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Waarom het "T-shirt Systeem" faalt bij AI-projecten: Een Simpele Uitleg
Stel je voor dat je een bouwproject plant. In de softwarewereld gebruiken we al decennia een simpele methode om te schatten hoeveel tijd een project kost: T-shirt maten.
Je kijkt naar een taak en zegt: "Oh, dit is een S (Small), dit is een M (Medium), of dit is een XL." Het werkt prima voor normale software. Als je een simpele website bouwt, is het logisch dat een grote website ongeveer twee keer zo lang duurt als een kleine.
Maar de auteurs van dit paper (van Cisco) zeggen: "Stop met dit doen bij AI-projecten!"
Wanneer je dit systeem toepast op kunstmatige intelligentie (zoals slimme chatbots of agenten die samenwerken), krijg je niet alleen een verkeerde schatting, je krijgt een catastrofe. Het project loopt maanden uit, of stopt volledig omdat je een muur tegenkwam die je niet zag aankomen.
Waarom? Omdat AI vijf "dodelijke aannames" van het T-shirt-systeem volledig breekt. Laten we die vijf breken met simpele analogieën.
1. De "Lineaire Lijn" is een Leugen
Het oude idee: Als je twee keer zoveel functies wilt, kost het twee keer zoveel tijd.
De AI-realiteit: Het is een exponentiële berg.
- Analogie: Stel je voor dat je een auto wilt bouwen. Als je van 80 naar 90 km/u wilt gaan, kost dat weinig extra werk. Maar als je van 95 naar 99 km/u wilt gaan, moet je misschien de hele motor vervangen, nieuwe materialen gebruiken en 10 keer meer testen.
- Bij AI: Om een AI van 85% naar 95% nauwkeurig te krijgen, is het niet een klein stapje. Het is een marathon. Je hebt dan plotseling 10 keer meer data, 10 keer meer rekenkracht en 10 keer meer proberen nodig. De "laatste mijl" is eigenlijk een hele marathon.
2. Je Vorige Ervaring is Geen Garantie
Het oude idee: "We hebben al een chatbot gebouwd, dus deze nieuwe chatbot duurt ongeveer even lang."
De AI-realiteit: Elke dataset is nieuwe, onbekende oceaan.
- Analogie: Het is alsof je een expert bent in het vissen in een rustig meer (HR-chatbot). Je denkt dat je nu ook een expert bent in vissen in een woelige, giftige oceaan (Technische Support-chatbot). Maar de vissen (data) zijn anders, de golven (edge cases) zijn anders, en je vangt plotseling iets dat je niet verwachtte (bias of corruptie).
- Bij AI: Je kunt niet zeggen "dit is een M" omdat je het eerder deed. Elke nieuwe dataset heeft zijn eigen geheimen die pas laat naar boven komen, vaak pas tijdens het testen.
3. Meer Mensen = Niet Snelere Resultaten
Het oude idee: Als een taak 8 weken duurt met 1 persoon, duurt het 4 weken met 2 personen.
De AI-realiteit: Er zijn onoverkomelijke blokkades.
- Analogie: Je kunt niet 9 vrouwen laten zwanger worden om een baby in 1 maand te krijgen. Sommige dingen moeten gewoon in een bepaalde volgorde gebeuren.
- Bij AI: Je kunt niet beginnen met het trainen van het model voordat je de data hebt. Je kunt niet testen voordat je getraind hebt. En het wachten op de computer (rekenkracht) duurt even lang, of je nu 1 of 10 ingenieurs hebt. Je kunt de tijd niet "inkrimpen" door meer mensen toe te voegen.
4. Alles is Knettergek aan elkaar Gekleefd
Het oude idee: Je kunt een project opsplitsen in losse stukken (UI, Database, Backend) die teams parallel doen.
De AI-realiteit: Alles is strak gekoppeld, zoals een dominosteenrij.
- Analogie: Stel je voor dat je een huis bouwt. Als je de muren verplaatst, moet je ook het dak aanpassen, de elektriciteit opnieuw trekken en de vloer opnieuw leggen. Je kunt niet zeggen "de keuken is klaar" als de vloer nog niet ligt.
- Bij AI: Als je de data een beetje aanpast, moet je het hele model opnieuw trainen. Als je de prompt (de instructie) verandert, werkt de hele logica anders. Als één team iets verandert, breekt het vaak iets bij een ander team. Je kunt de tijd niet simpelweg optellen van losse onderdelen.
5. "Klaar" bestaat niet (Het Doel beweegt)
Het oude idee: Als de tests groen zijn en de specificaties gehaald zijn, is het project "Done".
De AI-realiteit: Het doelwit beweegt als je schiet.
- Analogie: Je denkt dat je een doel bereikt hebt, maar dan zegt de politie: "Je mag niet schieten omdat je een verkeerde bal gebruikt." Of de buren klagen over het geluid. Je project is "klaar", maar nu moet je alles opnieuw doen.
- Bij AI: Je haalt de nauwkeurigheidsdoelen, maar dan zegt de juridische afdeling: "De AI hallucineert te veel." Of de ethische commissie zegt: "De AI is vooroordeels." Plotseling is een "Klein" project ineens een "Extra Groot" project omdat je nieuwe veiligheidseisen moet bouwen.
De Oplossing: "Checkpoint Sizing" (Controlepunten)
Omdat we de oude kaart niet meer kunnen gebruiken, moeten we een nieuwe route plannen. De auteurs stellen Checkpoint Sizing voor.
In plaats van te zeggen: "Dit project duurt 3 maanden" (op basis van een gok), zeggen we:
"We gaan in kleine stappen werken en na elke stap kijken we of we nog op de goede weg zijn."
Het werkt als een reis met controleposten:
- Start: We hebben een idee (een hypothese).
- Checkpoint 1 (Data): Kijken we of de data goed genoeg is? Zo nee, dan stoppen we of passen we het plan aan.
- Checkpoint 2 (Testen): Werkt het model? Zo nee, dan passen we de schatting aan.
- Checkpoint 3 (Veiligheid): Is het veilig? Zo nee, dan bouwen we eerst veiligheidsmaatregelen.
De kernboodschap:
Bij AI kun je niet voorspellen hoe lang iets duurt voordat je begint. Je moet leren terwijl je bouwt. Gebruik geen vaste T-shirt maten, maar gebruik controlepunten waar je op basis van feiten (niet aannames) beslist of je doorgaat, stopt, of het plan aanpast.
Kortom: AI is geen gewone bouwklus; het is een expeditie in een onbekend oerwoud. Pak geen landkaart van een stad (T-shirt maten), maar neem een kompas en een team dat bereid is om de route elke dag opnieuw te plannen (Checkpoint Sizing).
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.