💰 quantitative finance

PHBench: A Benchmark for Predicting Startup Series A Funding from Product Hunt Launch Signals

Dit artikel introduceert PHBench, een reproduceerbare benchmark die 67.292 Product Hunt-lanceringssignalen koppelt aan Crunchbase-financieringsrecords om aan te tonen dat gestructureerde lanceringsdata statistisch Series A-uitkomsten voorspelt, waarbij aanzienlijke prestatiewinst wordt behaald met een ensemble-model, terwijl onverwachte beperkingen in zero-shot LLM's en temporele marktsensitiviteit worden blootgelegd.

Oorspronkelijke auteurs: Yagiz Ihlamur, Ben Griffin, Rick Chen

Gepubliceerd 2026-05-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yagiz Ihlamur, Ben Griffin, Rick Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een talentzoeker bent op zoek naar de volgende grote doorbraak in de startupwereld. Je hebt een enorme lijst van 67.000 nieuwe producten die zojuist zijn gelanceerd op een populaire website genaamd Product Hunt. Jouw taak is om te raden welke enkele van deze producten binnen de komende 18 maanden een enorm bedrag aan geld zullen ophalen (Series A-financiering).

Het probleem? Slechts ongeveer 1 op de 128 van deze producten slaagt er echt in. Het is alsof je probeert één gouden ticket te vinden in een fabriek vol chocoladerepen. De meeste mensen raden willekeurig, of vertrouwen op een "buikgevoel", wat niet erg betrouwbaar is.

Dit artikel introduceert PHBench, een nieuwe "scorekaart" en een set tools die zijn ontworpen om dit raadsel op te lossen met wiskunde en data in plaats van buikgevoel.

Hier is hoe ze het deden, eenvoudig uitgelegd:

1. De kaart bouwen (De dataset)

De auteurs verzamelden een enorme lijst van 67.292 producten die tussen 2019 en 2025 op Product Hunt werden uitgelicht. Vervolgens kruisten ze deze lijst met een gigantische financiële database (Crunchbase) om te zien welke van die bedrijven later daadwerkelijk geld ophaalden.

Het resultaat: Ze vonden 528 "winnaars" (bedrijven die Series A-financiering ophaalden).
De uitdaging: Omdat de winnaars zo zeldzaam zijn (minder dan 1%), is het een zeer lastig spel om te spelen. Als een model voor iedereen "Nee" zou raden, zou het 99% van de tijd gelijk hebben, maar zou het nutteloos zijn.

2. De spelregels (De benchmark)

Om ervoor te zorgen dat de modellen eerlijk spelen, creëerden de auteurs een strenge set regels genaamd PHBench:

De trainingsgrond: Ze splitsten de data zodat modellen kunnen oefenen met oude data, maar worden getest op nieuwe, onbekende data (zoals een eindexamen).
De scorekaart: Ze meten niet alleen "hoe vaak je gelijk had". Ze meten hoe goed je de winnaars rangschikt. Als je de winnende bedrijven helemaal bovenaan je lijst zet, krijg je een hoge score. Als je ze onderaan begraaft, krijg je een lage score, zelfs als je technisch "goed" was over de verliezers.
De "F0.5"-metriek: Dit is hun speciale scoringsregel. Het geeft meer gewicht aan het niet verspillen van tijd aan valse aanwijzingen (false positives) dan aan het missen van een paar winnaars. Denk hierbij aan een beveiligingsagent: het is beter om een paar verdachte mensen door te laten dan 1.000 onschuldige mensen te stoppen.

3. De kandidaten: Wiskunde versus AI

Het artikel testte twee soorten "raders":

A. De "oude school" wiskundige modellen (Machine Learning)
Deze zijn als ervaren detectives die kijken naar specifieke aanwijzingen:

Hoeveel mensen hebben gestemd?
Hoeveel reacties waren er?
Op welke dag van de week lanceerden ze?
Is het team groot?
Gaat het product over "B2B" (business-to-business) of "AI"?

B. De "super slimme" AI (Grote Taalmodellen / LLM's)
Dit zijn de nieuwste, krachtigste AI-chatbots (zoals Gemini). De onderzoekers vroegen hen om naar dezelfde aanwijzingen te kijken, maar zonder hen de productnamen of beschrijvingen te laten lezen. Ze gaven de AI alleen cijfers (bijvoorbeeld "500 stemmen", "Rang #1"). Dit was om te zien of de AI het antwoord kon "weten" alleen door de cijfers te begrijpen, zonder het verhaal te lezen.

4. De resultaten: Wie won?

De winnaar: De wiskundige detective (Ensemble-model)
De beste presteerder was een "team" van drie wiskundige modellen die samenwerkten.

De strategie: Ze combineerden verschillende modellen om de fouten te gladstrijken.
De score: Ze vonden de winnaars ongeveer 4,7 keer beter dan willekeurig raden.
Kerninzicht: De belangrijkste aanwijzingen waren niet alleen "hoeveel stemmen", maar de combinatie van een groot team plus hoge betrokkenheid. Het is als een sportteam: een groot team met een sterrenspeler heeft meer kans om te winnen dan alleen een groot team of alleen een sterrenspeler.

De verliezer: De super slimme AI (LLM's)
Verrassend presteerden de meest geavanceerde AI-modellen slechter dan de eenvoudige wiskundige modellen en zelfs slechter dan een basis statistisch uitgangspunt.

Het probleem: Als je de tekst (namen, beschrijvingen) verwijdert en de AI alleen cijfers geeft, raakt het in de war. Het gedraagt zich als een "kiezer" in plaats van een "rangschikker". Het kan misschien de één voor de hand liggende winnaar helemaal bovenaan de lijst spotten, maar faalt erin de rest van de lijst correct te sorteren.
De ironie: De "slimste" AI (Gemini 3.1 Pro) presteerde eigenlijk het slechtst. De auteurs suggereren dat dit misschien komt doordat de AI te voorzichtig werd gecorrigeerd toen het alleen cijfers kreeg.

5. Wat dit ons vertelt over de markt

De data voorspelde niet alleen winnaars; het liet ons zien hoe de markt beweegt:

De boom en de bust: Het model kon de financieringsboom van 2020–2021 en de crash van 2022–2023 "zien" alleen door te kijken naar lanceringssignalen. Dit bewijst dat de data echt is en niet zomaar willekeurige ruis.
Het "team"-signaal: De grootste voorspeller van succes was niet het productidee zelf, maar het vermogen van het team om een menigte te mobiliseren. Als een groot team een product lanceert en veel stemmen krijgt, is de kans veel groter dat ze gefinancierd worden.
De niche doet er toe: Producten in specifieke categorieën zoals "API's", "Betalingen" en "Fintech" hadden veel meer kans om gefinancierd te worden dan andere, ongeacht hoeveel stemmen ze kregen.

Samenvatting

PHBench is een nieuwe, open speelplaats waar iedereen zijn ideeën kan testen voor het voorspellen van startupsucces. Het artikel bewijst dat:

Lanceringssignalen tellen: Wat er in de eerste 24 uur op Product Hunt gebeurt, voorspelt toekomstige financiering.
Wiskunde wint van "Black Box" AI (voorlopig): Als je alleen cijfers hebt en geen tekst, zijn traditionele wiskundige modellen veel beter in het vinden van patronen dan de nieuwste AI-chatbots.
Team + Hype = Succes: Het beste signaal is een groot team dat veel aandacht krijgt.

De auteurs hebben al hun code, data en regels openbaar gemaakt zodat andere onderzoekers kunnen proberen hun score te verslaan.

Technische Samenvatting: PHBench

Probleemstelling
Vroege risicokapitaalinvesteerders (VC) staan voor de uitdaging om jaarlijks duizenden potentiële startups te screenen om diegenen te identificeren die waarschijnlijk Series A-financiering zullen securen. Hoewel Product Hunt (PH) een gestructureerd, tijdstempelend record biedt van vroege marktontvangst (upvotes, reacties, rankings, maker-profielen), blijft de voorspellende kracht van deze lanceringssignalen voor daaropvolgende institutionele financiering grotendeels onformeel en ongekwantificeerd. Het kernprobleem is om te bepalen of waarneembare pre-financieringssignalen van een Product Hunt-lancering statistisch kunnen voorspellen of een bedrijf binnen 18 maanden een Series A-ronde zal ophalen, en om een reproduceerbare benchmark te vestigen voor het evalueren van voorspellende modellen tegen deze taak.

Methodologie
De auteurs construeren PHBench, een benchmarkdataset en evaluatiekader ontworpen om deze voorspellingstaak aan te pakken.

Datasetconstructie:
- Bron: 67.292 uitgelichte Product Hunt-posts van Q1 2019 tot Q4 2025.
- Labeling: Posts worden gekoppeld aan Crunchbase-financieringsrecords via deterministische domeinmatching (na het normaliseren van URL's en het toepassen van een blokkering van 50 domeinen om platform-/hostingdomeinen zoals GitHub of Webflow uit te sluiten).
- Positieve Definitie: Een post wordt positief gelabeld als het gekoppelde bedrijf binnen 0 tot 548 dagen (18 maanden) na lancering een Series A-ronde ophaalt. Dit levert 528 positieve labels op (0,78% positief percentage), wat resulteert in een sterk onbalans dataset (1:126 ratio).
- Verdeling: De data wordt opgesplitst in trainings- (70%), validatie- (10%) en testset (20%). Cruciaal is dat de splitsen gestratificeerd zijn per jaar, onderwerp en label, en afgedwongen worden op bedrijfsniveau (alle posts van dezelfde Crunchbase-permalink bevinden zich in dezelfde split) om labellekage te voorkomen. De labels van de testset worden door de beheerders achtergehouden.
Feature Engineering:
- 61 geconstrueerde features worden afgeleid van metadata op lanceringstijd, gegroepeerd in: Engagement (stemmen, reacties), Rank (dagelijks/wekelijks/maandelijks), Maker (teamgrootte, volgers), Temporaal (lanceringstijd, prime window), Onderwerpen (24 binaire vlaggen), Tekst (lengte/aantal woorden) en Interacties (bijv. teamgrootte × stemmen).
- Log-transformaties worden toegepast op scheef verdeelde teldata.
- Een "maker follower"-feature wordt geacht een beperking in temporele lekage te hebben (gescraped in 2026 in plaats van op het moment van lancering), hoewel deze wordt behouden met documentatie.
Evaluatieprotocol:
- Primair Maatstaf: F0.5-score (harmonisch gemiddelde van precisie en recall met $\beta=0,5$ ), waarbij prioriteit wordt gegeven aan precisie om de hoge kosten van vals-positieven in analisten-screening te weerspiegelen.
- Secundaire Maatstaven: Average Precision (AP), Precision@k (P@50, P@100, P@200) en AUC-ROC.
- LLM-baseline: Drie frontier LLM's (Gemini 2.5 Flash, Gemini 3 Flash, Gemini 3.1 Pro) worden geëvalueerd in een zero-shot, geanonimiseerde setting. Prompts bevatten uitsluitend 11 numerieke/categorische signalen (bijv. afgeronde stemtellingen, onderwerpsbuckets) zonder semantische inhoud (namen, beschrijvingen) om dataverwerving te voorkomen.

Belangrijkste Bijdragen

Datasetpublicatie: Een gecurateerde, reproduceerbare dataset van 67.292 PH-posts gekoppeld aan 528 geverifieerde Series A-uitkomsten, inclusief een deterministische koppelmethode en een platformblokkering.
Benchmarkkader (PHBench): Een gestandaardiseerde evaluatieomgeving met publieke trainings-/validatiesplitsen, privé achtergehouden testlabels, een publieke leaderboard (phbench.com) en een evaluatieharnas met vijf maatstaven.
Empirische Baselines:
- ML: Een systematische vergelijking van 144 experimenten over Logistische Regressie, XGBoost, LightGBM en Random Forest, waarmee een kampioenensemble wordt vastgesteld.
- LLM: De eerste kwantitatieve baseline voor LLM's op deze specifieke taak, waarbij hun vermogen wordt geëvalueerd om te redeneren over geanonimiseerde numerieke signalen zonder semantische context.

Resultaten

ML-prestaties: Het best presterende model is een ensemble van drie componenten (ENS_avg, ENS_ISO, XGB) geselecteerd via validatie F0.5.
- Testset-resultaten: Bereikt F0.5 = 0,097 en AP = 0,037 (95% CI: 0,024–0,072).
- Statistische Significantie: Een gepaarde bootstrap-test bevestigt een statistisch geloofwaardig voordeel ten opzichte van de Logistische Regressie-baseline (AP delta: +0,013, $p < 0,001$ ; F0.5 delta: +0,056, $p = 0,016$ ).
- Featurebelang: Interactietermen die maker-aantal en stem-engagement betreffen (bijv. makers_x_votes) zijn de meest voorspellende features, gevolgd door onderwerpcategorieën (API, Betalingen, Fintech).
LLM-prestaties:
- Alle drie de Gemini-modellen presteerden onder de Logistische Regressie-baseline op de validatieset (Beste LLM: Gemini 3 Flash, AP = 0,034 versus LR AP = 0,044).
- Op de testset behaalde de beste LLM (Gemini 3 Flash) een AP van 0,034, terwijl het kampioen ML-model een AP van 0,037 behaalde.
- Patroon: LLM's vertoonden een "picker, niet ranker"-gedrag, waarbij ze waarschijnlijkheidsmassa concentreerden op hoog-signaal gevallen maar faalden in het leveren van een gekalibreerde gradiënt over de volledige verdeling. Opmerkelijk is dat het meest capabele model (Gemini 3.1 Pro) het slechtst presteerde (AP = 0,023).
- Temporele Afname: Zowel ML- als LLM-modellen lieten prestatieafname zien in de cohorts van 2023–2024, die de reële krimp in VC-financiering volgden, wat suggereert dat de modellen een echte marktstructuur vangen in plaats van ruis.

Betekenis en Claims
Het paper claimt dat PHBench het eerste reproduceerbare kader biedt dat aantoont dat gestructureerde Product Hunt-lanceringssignalen statistisch significante voorspellende informatie bevatten voor Series A-financieringsuitkomsten.

Marktstructuur: De dataset vangt echte marktdynamiek, zoals blijkt uit de correlatie tussen prestatieafname van modellen en de financieringsboom van 2020–2021 versus de krimp van 2022–2023.
ML versus LLM: In een puur numeriek, geanonimiseerd regime presteren gestructureerde machine learning-modellen, getraind op geconstrueerde tabulaire features, aanzienlijk beter dan zero-shot LLM's. De auteurs suggereren dat LLM's rijke semantische inhoud (namen, beschrijvingen, verhalen) nodig hebben om effectief te presteren in VC-voorspellingstaken, terwijl ze onderpresteren wanneer ze beperkt zijn tot numerieke signalen.
Praktische Nut: Het kampioenmodel kan een kwartaallijkse batch van ongeveer 2.400 uitgelichte posts screenen om ongeveer 5 echte Series A-rondes aan het licht te brengen bij een precisie van 10%, wat een systematische methode biedt om het werklast van analisten te verminderen.

De auteurs blijven bescheiden wat betreft de beperkingen, met name het kleine aantal validatiepositieven (53) wat variatie in maatstaven introduceert, het conservatieve karakter van domeinmatching (wat leidt tot potentiële vals-negatieven) en de temporele lekage in volgersaantallen. Ze positioneren PHBench als een fundament voor toekomstig werk, inclusief integratie van tekstfeatures en temporele holdout-evaluaties.