YC Bench: a Live Benchmark for Forecasting Startup Outperformance in Y Combinator Batches

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een prognosemachine wilt bouwen die kan voorspellen welke start-ups de volgende grote succesverhalen worden (zoals Uber of Airbnb). Het probleem? Het duurt vaak 7 tot 10 jaar voordat je zeker weet of een start-up echt slaagt. Het is alsof je probeert te leren hoe je een boom laat groeien, maar je mag pas na een decennium kijken of het een eik of een onkruid is. Dat is veel te lang om snel te leren en te verbeteren.

Deze paper introduceert een slimme oplossing genaamd YC Bench. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: Wachten op de "Grote Uitslag"

Normaal gesproken moeten investeerders wachten tot een start-up wordt verkocht, naar de beurs gaat of enorme winst maakt. Dat zijn zeldzame gebeurtenissen die jaren duren. Het is alsof je een kok bent die pas na 10 jaar mag proeven of zijn soep lekker is. Je kunt je recept dan niet snel verbeteren.

2. De Oplossing: Een "Snelle Smaketest"

Y Combinator (een beroemde start-up-accelerator) werkt in groepen van ongeveer 200 start-ups. Ze starten allemaal tegelijk en presenteren hun werk na precies drie maanden op een evenement genaamd "Demo Day".

De auteurs van dit paper zeggen: "Wacht niet 10 jaar. Laten we kijken wie na die 3 maanden de meeste 'vliegsnelheid' heeft."

Ze hebben een nieuwe meetlat bedacht, de Pre-Demo Day Score. Dit is een soort "snelheidstest" die twee dingen combineert:

De Traction Score (De "Werkelijke Klanten"): Hoeveel geld hebben ze al verdiend? Hoeveel mensen gebruiken hun app? (Dit is als kijken of er al klanten in de winkel lopen).
De Attention Score (De "Hype"): Hoe vaak wordt er online over hen gesproken? (Dit is als kijken hoeveel mensen er naar het bordje voor de winkel wijzen en erover praten).

Als een start-up veel geld verdient OF veel online buzz heeft, krijgt ze een hoge score.

3. De Proef: De "W26" Groep

Om te testen of dit werkt, hebben ze gekeken naar de start-ups van de groep W26 (Winter 2026).

Ze hebben gekeken hoeveel mensen er op Google hebben gezocht naar de namen van deze start-ups voordat ze überhaupt bij Y Combinator waren aangenomen.
Het resultaat: Zelfs met deze simpele methode (alleen kijken naar Google-zoekopdrachten), konden ze 55% van de absolute top-start-ups al maanden van tevoren identificeren.

4. De Analogie: De "Voorspelling van de Lente"

Stel je voor dat je wilt weten welke bloemen in de lente de mooiste zullen bloeien.

De oude manier: Wachten tot de zomer om te zien welke bloemen het grootst zijn.
De YC Bench-methode: Kijken naar de zaden die al in de grond zitten en hoe snel ze al ontkiemen in de eerste drie weken.

De paper laat zien dat je door te kijken naar hoe bekend een start-up al is (via Google) voordat ze zelfs maar beginnen met hun officiële programma, je al een heel goed idee hebt van wie er later de "grote bloem" zal worden.

5. Waarom is dit belangrijk?

Snelheid: In plaats van 10 jaar wachten, kun je nu binnen 3 maanden zien of je voorspelling goed was.
Leren: Net zoals een sporter die elke dag zijn tijd meet om sneller te worden, kunnen investeerders en AI-modellen nu snel leren wat een goed teken is.
Fairness: Het creëert een eerlijke testomgeving waar iedereen dezelfde regels heeft (dezelfde startdatum, dezelfde deadline).

Samenvattend

Deze paper zegt eigenlijk: "Stop met wachten tot de start-up rijk is. Kijk naar wie nu al de meeste aandacht trekt en de eerste klanten heeft. Dat is een sterke voorspeller voor succes, en we hebben een meetlat gemaakt om dat snel te testen."

Het is een nieuwe manier om de toekomst van ondernemen te voorspellen, niet door te wachten tot het gebeurd is, maar door te kijken naar de eerste, kleine signalen van succes.

Each language version is independently generated for its own context, not a direct translation.

Probleemstelling

Het voorspellen van het succes van startups is een berucht moeilijk probleem in de venture capital- en ondernemerswereld. De kernuitdagingen zijn:

Zeldzame en trage labels: Significante uitkomsten (zoals overnames, IPO's, of grote financieringsrondes) zijn zeldzaam en kunnen 7 tot 10 jaar duren om te materialiseren.
Langzame evaluatiecycli: Door de lange tijdshorizon zijn iteratieve ontwikkelingen van voorspellende modellen zeer traag.
Gebrek aan gestandaardiseerde benchmarks: In tegenstelling tot domeinen zoals computer vision of NLP, ontbreekt het aan standaard, snel evalueerbare benchmarks voor startup-predictie.
Bias: Retrospectieve analyses lijden vaak onder survivorship bias en verstorende marktomstandigheden.

Methodologie: YC Bench

Het paper introduceert YC Bench, een live benchmark voor het voorspellen van vroege uitmuntendheid binnen batches van Y Combinator (YC). De aanpak maakt gebruik van de unieke structuur van YC-batches (ongeveer 200 startups, gelijktijdig gefinancierd, geëvalueerd na drie maanden op Demo Day) om korte-termijnevaluaties mogelijk te maken.

1. Voorspellingsopdracht

Doel: Identificeer de top 10% van de startups in een batch, zoals ze eruitzien op de dag voor de YC Demo Day.
Redenatie: De top 10% van YC-startups genereert naar schatting 96% van alle investeerdersrendementen.
Tijdsbestek: Voorspellingen moeten idealiter direct na de publicatie van de nieuwe batch worden gedaan, maanden voor de Demo Day.

2. De "Pre-Demo Day Score" (De Ground Truth)

Om een snelle evaluatie mogelijk te maken, wordt een proxy-metriek gebruikt die twee signalen combineert:

A. Traction Score (Voor startups met open data):
- Gebaseerd op een max-of-weighted-metrics aggregatie van publiek beschikbare signalen (bijv. ARR, pilot-omzet, LOI's, actieve gebruikers).
- Formule: $S_{traction} = \max_{k} (w_k \cdot x_k)$ .
- Growth Multiplier: Als maand-op-maand groei ( $g_{MoM}$ ) beschikbaar is, wordt de score vermenigvuldigd met $(1 + 10 \cdot g_{MoM})$ om momentum te belonen.
B. Attention Score (Voor startups zonder open data):
- Voor de meerderheid van de startups zonder open financiële data wordt een score berekend op basis van Google-zoekopdrachten (web mentions).
- Formule: $S_{attention} = w_m \cdot x_m$ , waarbij $x_m$ het aantal mentions is en $w_m$ een heuristische weging (0,05).
Eindscore: De Pre-Demo Day Score is het maximum van beide scores: $\max(S_{traction}, S_{attention})$ . Dit zorgt ervoor dat startups met hoge traction hoog scoren, maar ook startups met hoge online zichtbaarheid niet worden genegeerd.

3. Evaluatiemetrics

Modellen worden getoetst aan de hand van de top-20 voorspellingen:

Precision@20: Het percentage van de top-20 voorspellingen dat daadwerkelijk in de top-20 van de Pre-Demo Day Scores zit.
Recall@11: Het percentage van de 11 startups met de hoogste traction (gebaseerd op onthulde data) dat wordt teruggevonden in de top-20 voorspellingen.

Kernresultaten (Case Study: YC W26)

De auteurs testten hun benchmark op de YC W26 batch (196 startups) met een simpele baseline: het aantal Google-mentions vóór de sollicitatiedeadline.

Baseline Prestatie: Een model dat uitsluitend kijkt naar Google-mentions in de periode voor de sollicitatie (augustus-oktober 2025) behaalde:
- Precision@20: 30,0% (6 van de 20 voorspellingen waren correct).
- Recall@11: 55,0% (6 van de 11 hoogste traction-startups werden gevonden).
- Lift over random: 2,75x ten opzichte van een willekeurige voorspelling.
Observaties:
- De top 10% van de startups (op basis van Google mentions) was al maanden van tevoren zichtbaar.
- De 5 gemiste top-performers opereerden vaak in smalle B2B-verticale met weinig publieke web-aanwezigheid, wat de beperkingen van puur op zoekvolume gebaseerde signalen aantoont.
- De data toont een extreme concentratie van aandacht (Gini-coëfficiënt van 0,85), waarbij de top 10% van de startups 82% van alle mentions genereert.

Belangrijkste Bijdragen

Eerste Live Benchmark voor Startups: YC Bench is, voor zover bekend, het eerste benchmark dat de batch-structuur van een startup-accelerator expliciet gebruikt voor voorspellende taken.
Versnelling van Evaluatie: Het introduceert een "Pre-Demo Day Score" als proxy voor langetermijnsucces, waardoor evaluatiecycli van jaren worden teruggebracht tot maanden.
Validatie van Open Signalen: Het paper bewijst dat publiek waarneembare signalen (zoals Google-mentions) maanden van tevoren substantiële informatie bevatten over de prestaties van startups binnen een batch.
Open Data en Code: De dataset en code zijn beschikbaar gesteld op GitHub, wat herhaalbaarheid en verdere onderzoek mogelijk maakt.

Significantie en Toekomstperspectief

YC Bench biedt een cruciaal instrument voor onderzoekers en investeerders om voorspellingsmodellen voor startups sneller te itereren en te valideren. De huidige versie gebruikt heuristische gewichten voor de scores; toekomstig werk richt zich op het empirisch leren van deze gewichten uit historische batches om de correlatie tussen vroege signalen en langetermijnuitkomsten te maximaliseren.

De studie benadrukt dat hoewel langetermijnsucces moeilijk te voorspellen is, de "vroege signalen" (zoals online zichtbaarheid en vroege traction) een sterke voorspellende waarde hebben die al in de eerste maanden van een accelerator-programma zichtbaar is. Dit kan leiden tot betere kapitaalallocatie en snellere innovatiecycli.