YC Bench: a Live Benchmark for Forecasting Startup Outperformance in Y Combinator Batches

Each language version is independently generated for its own context, not a direct translation.

이 논문은 **"스타트업이 성공할지 미리 알아맞히는 게임"**에 대한 새로운 규칙을 제안한 연구입니다.

기존의 스타트업 투자나 예측은 마치 **"수천 년을 기다려야 꽃이 피는 나무"**를 보고 "이 나무가 열매를 맺을까?"라고 추측하는 것과 비슷했습니다. 결과가 나오기까지 7~10 년이 걸리기 때문에, 실수를 고쳐가며 학습하기가 매우 어렵죠.

하지만 이 논문은 **YC(요컴비네이터)**라는 특수한 환경을 이용해, **"3 개월 만에 꽃이 피는지 확인하는 새로운 방법"**을 제시합니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 문제: "기다림의 고통"

스타트업 투자자들은 보통 "이 회사가 10 년 뒤 유니콘이 될까?"를 예측하려 합니다. 하지만 그 답을 알기까지 너무 오래 걸립니다.

비유: 요리사가 "이 요리를 10 년 뒤에 먹어봐야 맛이 있는지 알 수 있다"고 한다면, 요리 실력을 늘릴 수 있을까요? 불가능하죠. 결과가 너무 늦게 나오기 때문에 실패를 배우고 다시 시도할 시간이 없습니다.

2. 해결책: "YC 벤치마크 (YC Bench)"

저자는 YC 라는 스타트업 가속화 프로그램의 독특한 구조를 이용합니다.

상황: YC 에는 한 번에 약 200 개의 스타트업이 동시에 입학합니다. 그리고 **3 개월 뒤 '데모 데이 (Demo Day)'**라는 큰 발표회가 있습니다.
비유: 200 명의 요리사들이 동시에 요리를 시작해서, 3 개월 뒤에 '요리 대회'를 엽니다. 이때 "누가 가장 잘할까?"를 미리 예측하는 것입니다. 결과가 3 개월이면 나오니까, 우리는 "아, 이 예측법은 틀렸네"라고 바로 알 수 있고, 다음 달에 바로 고쳐서 다시 시도할 수 있습니다.

3. 새로운 점수판: "데모 데이 전 점수 (Pre-Demo Day Score)"

그렇다면 3 개월 뒤에 누가 잘할지 어떻게 알까요? 논문은 두 가지 신호를 섞어서 점수를 매깁니다.

A. '실적 점수' (Traction Score)

비유: "이미 손님이 와서 돈을 주고 먹은 식당"입니다. 매출이 있거나, 고객이 많이 쓰는 앱이라면 점수가 높습니다.
특징: 데이터가 있는 스타트업은 이 점수가 높습니다.

B. '관심도 점수' (Attention Score)

비유: "아직은 매출이 없어도, 사람들이 '이 식당 이름'을 검색하고 떠들고 있는 곳"입니다. 구글 검색 횟수, 웹에서의 언급 횟수를 봅니다.
특징: 매출이 없어도 사람들이 많이 알고 있으면 점수를 줍니다.

이 두 가지를 합쳐서 **"데모 데이 전 점수"**를 만듭니다. 이 점수가 높은 스타트업들이 나중에 실제로 큰 성공을 거둘 가능성이 높다는 게 연구의 핵심입니다.

4. 실험 결과: "구글 검색만으로도 55% 를 맞췄다!"

저자들은 이 새로운 점수판을 테스트해 보았습니다.

방법: YC 에 지원하기 전에, 구글에서 이 스타트업 이름을 몇 번 검색했는지만 봤습니다. (이미 유명했던지, 사람들이 관심을 가졌는지 확인)
결과:
- 나중에 실제로 가장 잘한 스타트업 11 개 중 6 개를 미리 찾아냈습니다 (55% 성공률).
- 무작위로 고르는 것보다 2.75 배 더 잘 맞췄습니다.
의미: "아직 시작도 안 했는데, 사람들이 이미 알고 있었나?"만 봐도 나중에 잘할 스타트업을 어느 정도 가려낼 수 있다는 뜻입니다.

5. 왜 이것이 중요한가?

이 연구는 **"스타트업 예측"**이라는 어려운 문제를 **"3 개월 단위의 빠른 게임"**으로 바꿔놓았습니다.

과거: "이 스타트업이 10 년 뒤 성공할까?" → 답을 알기까지 10 년 걸림 → 예측 기술 발전이 더딤.
이제 (YC Bench): "이 스타트업이 3 개월 뒤 주목받을까?" → 답을 3 개월 만에 확인 → 예측 모델을 빠르게 고치고 발전시킬 수 있음.

요약

이 논문은 **"스타트업의 미래를 예측하는 것은 너무 느려서 어렵다"**는 문제를 해결하기 위해, **"YC 라는 3 개월짜리 짧은 경기장에서, '구글 검색 횟수'와 '초기 매출'을 합쳐서 미리 점수를 매기는 새로운 경기 규칙"**을 만들었습니다.

이 규칙을 사용하면 투자자나 연구자들은 수년 기다릴 필요 없이, 몇 달 만에 예측 기술을 갈고닦아 더 정확한 투자를 할 수 있게 됩니다. 마치 요리사가 10 년이 아닌 3 개월 만에 요리의 맛을 보고 레시피를 고칠 수 있게 된 것과 같습니다.

Each language version is independently generated for its own context, not a direct translation.

1. 문제 정의 (Problem Statement)

스타트업의 성공을 예측하는 것은 업계에서 오랫동안 난제로 여겨져 왔습니다. 그 주요 원인은 다음과 같습니다:

희소성 (Sparsity): 성공적인 결과 (M&A, IPO, 대규모 자금 조달, 지속적 매출 성장 등) 는 드물게 발생합니다.
긴 시간 지연 (Slow Evaluation Cycles): 의미 있는 결과가 나타나기까지 보통 7~10 년이 소요됩니다. 이로 인해 피드백 루프가 매우 느리고, 모델의 반복적 개발이 어렵습니다.
데이터 편향: 기존 연구들은 Crunchbase 나 LinkedIn 과 같은 구조화된 데이터를 사용하지만, 이는 사후 분석에 의존하며 생존자 편향 (Survivorship Bias) 과 시장 조건 혼란의 영향을 받기 쉽습니다.
표준 벤치마크 부재: 컴퓨터 비전이나 NLP 와 같은 다른 AI 분야와 달리, 스타트업 예측을 위한 표준화되고 신속하게 평가 가능한 벤치마크가 존재하지 않습니다.

2. 방법론 (Methodology)

저자들은 Y Combinator (YC) 의 독특한 batch 구조를 활용하여 이러한 문제를 해결하는 YC Bench를 제안합니다.

2.1. 벤치마크 설계 (Benchmark Design)

타겟: YC 의 특정 batch(약 200 개 스타트업) 내에서 Demo Day 직전에 상위 10% 에 드는 스타트업을 예측하는 것입니다.
근거: YC 의 상위 10% 스타트업이 전체 투자 수익의 96% 를 차지하며, 이는 Rebel Fund 와 같은 YC 특화 VC 의 포트폴리오 전략과도 일치합니다.
평가 주기: batch 형성 후 약 3 개월 (Demo Day) 내에 평가가 완료되어, 기존 7~10 년의 주기를 월 단위로 단축합니다.

2.2. 평가 지표 (Evaluation Metrics)

예측 모델의 성능은 Pre-Demo Day Score를 기준으로 다음 두 가지 지표를 통해 평가됩니다:

Precision@20: 예측한 상위 20 개 스타트업 중 실제 Pre-Demo Day Score 상위 20 개 (batch 의 상위 10%) 에 포함된 비율.
Recall@11: 실제 고트랙션 (High-traction) 스타트업 11 개 중 예측된 상위 20 개 안에 포함된 비율.

2.3. Pre-Demo Day Score (핵심 지표)

단기적인 성과와 장기적 성공 사이의 간극을 메우기 위해 Pre-Demo Day Score를 정의했습니다. 이는 두 가지 신호를 결합합니다:

Traction Score (트랙션 점수): 공개된 성과 데이터가 있는 스타트업을 대상으로 합니다.
- 지표: ARR(연간 반복 수익), 파일럿 매출, LOI(의향서), 활성 사용자 수 등.
- 가중치: ARR(1.0), 파일럿 매출(0.5), LOI(0.2) 등.
- 성장 가속도: 월간 성장률 (MoM) 이 있을 경우 $(1 + 10 \times g_{MoM})$ 배수를 적용하여 성장 동력을 반영합니다.
Attention Score (주목도 점수): 공개된 데이터가 없는 대부분의 스타트업을 대상으로 합니다.
- 지표: YC batch 기간 중 Google 검색 언급 수 (Google Mentions).
- 계산: $S_{attention} = 0.05 \times (\text{검색 언급 수})$ .
- 결합: 최종 점수는 두 점수 중 최댓값을 취합니다 ( $\max(S_{traction}, S_{attention})$ ).

3. 주요 기여 (Key Contributions)

YC Bench 도입: 스타트업 성공 예측을 위한 최초의 실시간 (Live) 벤치마크를 제안했습니다. 이는 훈련 데이터 오염을 방지하고 미래 예측을 목표로 합니다.
단기 대리 지표 (Short-term Proxy) 개발: 장기적인 성공 (Exit 등) 대신, Demo Day 직전의 Pre-Demo Day Score를 사용하여 평가 주기를 3 개월로 단축했습니다.
Batch 구조 활용: YC 의 batch 구조 (동시 자금 조달, 공통 평가 시점) 를 벤치마크 환경으로 체계화하여, 스타트업 간 비교 가능성을 높였습니다.
오픈 소스 데이터 및 코드: YC W26 batch(196 개 스타트업) 에 대한 데이터와 코드를 GitHub 에 공개하여 재현성을 보장했습니다.

4. 결과 (Results)

논문의 사례 연구인 YC W26 batch를 기반으로 한 실험 결과는 다음과 같습니다:

Baseline 모델 (Google 언급 수): YC 지원 마감일 (2025 년 11 월 10 일) 이전 67 일간의 Google 검색 언급 수를 기반으로 한 단순 Baseline 모델을 구축했습니다.
성능:
- Recall@11: 실제 고트랙션 스타트업 11 개 중 6 개 (55%) 를 성공적으로 예측했습니다.
- Precision@20: 예측한 상위 20 개 중 6 개가 실제 상위 20 개에 포함되었습니다 (30%).
- 랜덤 대비 향상 (Lift): 무작위 예측 대비 2.75 배의 성능 향상을 보였습니다.
분석:
- Google 언급 수라는 단순한 신호만으로도 지원 마감일로부터 약 5 개월 전에 상위 스타트업의 상당 부분을 식별할 수 있음을 입증했습니다.
- 실패한 5 개 스타트업은 주로 대중적 웹 노출이 적은 좁은 B2B 수직 분야에서 활동했습니다.
- Google 언급 분포는 매우 편향되어 있었으며 (지니 계수 0.85), 상위 10% 스타트업이 전체 언급의 82% 를 차지했습니다.

5. 의의 및 결론 (Significance & Conclusion)

예측 주기의 혁신: 스타트업 예측 연구의 병목이었던 긴 평가 주기를 월 단위로 단축하여, 머신러닝 모델의 빠른 반복 학습과 개발을 가능하게 합니다.
공공 신호의 가치: 스타트업의 성공 가능성에 대해 공개적으로 관찰 가능한 신호 (웹 언급, 검색 트렌드 등) 가 상당한 정보를 포함하고 있음을 실증했습니다.
미래 연구 방향:
- 현재 Pre-Demo Day Score 의 가중치는 휴리스틱에 기반하지만, 향후 과거 batch 데이터를 학습하여 최적화할 계획입니다.
- 더 많은 batch 와 트랙션 데이터를 수집하여 벤치마크의 신뢰성과 범위를 확장할 예정입니다.

요약하자면, YC Bench 는 스타트업 예측 연구의 지평을 넓혀, 장기적인 성공을 기다리지 않고도 단기간에 모델 성능을 검증할 수 있는 표준화된 프레임워크를 제공하며, 특히 공개 웹 데이터 (Google 언급) 가 초기 스타트업의 잠재력을 예측하는 강력한 신호가 될 수 있음을 보여줍니다.