PHBench: A Benchmark for Predicting Startup Series A Funding from Product Hunt Launch Signals

Resumo Técnico: PHBench

Declaração do Problema
Investidores de capital de risco (VC) em estágios iniciais enfrentam o desafio de triar milhares de startups potenciais anualmente para identificar aquelas com maior probabilidade de garantir financiamento Série A. Embora o Product Hunt (PH) forneça um registro estruturado e carimbado no tempo da recepção inicial do mercado (curtidas, comentários, classificações, perfis de criadores), o poder preditivo desses sinais de lançamento para financiamento institucional subsequente permanece em grande parte não formalizado e não quantificado. O problema central é determinar se sinais observáveis pré-financiamento de um lançamento no Product Hunt podem prever estatisticamente se uma empresa levantará uma rodada Série A dentro de 18 meses, e estabelecer uma referência reproduzível para avaliar modelos preditivos contra essa tarefa.

Metodologia
Os autores constroem o PHBench, um conjunto de dados de referência e um framework de avaliação projetados para abordar essa tarefa de previsão.

• Construção do Conjunto de Dados:

  • Fonte: 67.292 posts em destaque no Product Hunt do primeiro trimestre de 2019 ao quarto trimestre de 2025.
  • Rotulagem: Os posts são vinculados aos registros de financiamento do Crunchbase por meio de correspondência determinística de domínios (após normalizar URLs e aplicar uma lista de bloqueio de 50 domínios para excluir domínios de plataforma/hospedagem como GitHub ou Webflow).
  • Definição de Positivo: Um post é rotulado como positivo se a empresa correspondente levantar uma rodada Série A entre 0 e 548 dias (18 meses) após o lançamento. Isso resulta em 528 rótulos positivos (taxa positiva de 0,78%), criando um conjunto de dados altamente desbalanceado (razão de 1:126).
  • Divisão: Os dados são divididos em conjuntos de treinamento (70%), validação (10%) e teste (20%). Crucialmente, as divisões são estratificadas por ano, tópico e rótulo, e aplicadas no nível da empresa (todos os posts do mesmo permalink do Crunchbase estão na mesma divisão) para evitar vazamento de rótulos. Os rótulos do conjunto de teste são mantidos em segredo pelos mantenedores.

• Engenharia de Recursos:

  • 61 recursos engenheirados são derivados de metadados do dia do lançamento, agrupados em: Engajamento (curtidas, comentários), Classificação (diária/semanal/mensal), Criador (tamanho da equipe, seguidores), Temporal (dia do lançamento, janela principal), Tópicos (24 bandeiras binárias), Texto (contagem de comprimento/palavras) e Interações (ex.: tamanho da equipe × curtidas).
  • Transformações logarítmicas são aplicadas a dados de contagem enviesados.
  • Um recurso de "seguidores do criador" é notado por ter uma limitação de vazamento temporal (raspado em 2026 e não no lançamento), embora seja mantido com documentação.

• Protocolo de Avaliação:

  • Métrica Primária: Escore F0.5 (média harmônica de precisão e recall com $\beta=0,5$), priorizando a precisão para refletir o alto custo de falsos positivos na triagem de analistas.
  • Métricas Secundárias: Precisão Média (AP), Precisão@k (P@50, P@100, P@200) e AUC-ROC.
  • Linha de Base de LLM: Três LLMs de ponta (Gemini 2.5 Flash, Gemini 3 Flash, Gemini 3.1 Pro) são avaliados em um cenário zero-shot e anonimizado. Os prompts contêm apenas 11 sinais numéricos/categóricos (ex.: contagens de curtidas arredondadas, buckets de tópicos) sem conteúdo semântico (nomes, descrições) para evitar recuperação de dados.

Principais Contribuições

1. Lançamento do Conjunto de Dados: Um conjunto de dados curado e reproduzível de 67.292 posts do PH vinculados a 528 resultados verificados de Série A, incluindo uma metodologia de vinculação determinística e uma lista de bloqueio de plataformas.
2. Framework de Referência (PHBench): Um ambiente de avaliação padronizado com divisões públicas de treinamento/validação, rótulos de teste mantidos em segredo, um leaderboard público (phbench.com) e um sistema de avaliação de cinco métricas.
3. Linhas de Base Empíricas:
   • ML: Uma comparação sistemática de 144 experimentos entre Regressão Logística, XGBoost, LightGBM e Random Forest, estabelecendo um ensemble campeão.
   • LLM: A primeira linha de base quantitativa para LLMs nesta tarefa específica, avaliando sua capacidade de raciocinar sobre sinais numéricos anonimizados sem contexto semântico.

Resultados

• Desempenho de ML: O modelo de melhor desempenho é um ensemble de três componentes (ENS_avg, ENS_ISO, XGB) selecionado via F0.5 de validação.
  • Resultados no Conjunto de Teste: Alcança F0.5 = 0,097 e AP = 0,037 (IC 95%: 0,024–0,072).
  • Significância Estatística: Um teste bootstrap pareado confirma uma vantagem estatisticamente credível sobre a linha de base de Regressão Logística (delta AP: +0,013, $p < 0,001$; delta F0.5: +0,056, $p = 0,016$).
  • Importância dos Recursos: Termos de interação envolvendo contagem de criadores e engajamento por curtidas (ex.: makers_x_votes) são os recursos mais preditivos, seguidos por categorias de tópicos (API, Pagamentos, Fintech).
• Desempenho de LLM:
  • Todos os três modelos Gemini performaram abaixo da linha de base de Regressão Logística no conjunto de validação (Melhor LLM: Gemini 3 Flash, AP = 0,034 vs. AP de LR = 0,044).
  • No conjunto de teste, o melhor LLM (Gemini 3 Flash) alcançou AP = 0,034, enquanto o modelo de ML campeão alcançou AP = 0,037.
  • Padrão: Os LLMs exibiram um comportamento de "selecionador, não classificador", concentrando a massa de probabilidade em casos de alto sinal, mas falhando em fornecer um gradiente calibrado em toda a distribuição. Notavelmente, o modelo mais capaz (Gemini 3.1 Pro) performou o pior (AP = 0,023).
  • Decaimento Temporal: Tanto os modelos de ML quanto os de LLM mostraram decaimento de desempenho nas coortes de 2023–2024, acompanhando a contração real no financiamento de VC, sugerindo que os modelos capturam a estrutura genuína do mercado e não ruído.

Significância e Alegações
O artigo afirma que o PHBench fornece o primeiro framework reproduzível demonstrando que sinais estruturados de lançamento do Product Hunt contêm informações preditivas estatisticamente significativas para resultados de financiamento Série A.

• Estrutura de Mercado: O conjunto de dados captura dinâmicas de mercado genuínas, como evidenciado pela correlação entre o decaimento do desempenho do modelo e o boom de financiamento de 2020–2021 versus a contração de 2022–2023.
• ML vs. LLM: Em um regime puramente numérico e anonimizado, modelos de aprendizado de máquina estruturados treinados em recursos tabulares engenheirados superam substancialmente os LLMs zero-shot. Os autores sugerem que os LLMs requerem conteúdo semântico rico (nomes, descrições, narrativas) para performar efetivamente em tarefas de previsão de VC, enquanto performam mal quando restritos a sinais numéricos.
• Utilidade Prática: O modelo campeão pode triar um lote trimestral de ~2.400 posts em destaque para destacar aproximadamente 5 levantamentos reais de Série A com 10% de precisão, oferecendo um método sistemático para reduzir a carga de trabalho dos analistas.

Os autores permanecem modestos quanto às limitações, notando especificamente o pequeno número de positivos de validação (53), o que introduz variância nas métricas, a natureza conservadora da correspondência de domínios (levando a potenciais falsos negativos) e o vazamento temporal nos recursos de contagem de seguidores. Eles posicionam o PHBench como uma fundação para trabalhos futuros, incluindo integração de recursos de texto e avaliações de retenção temporal.