Measuring the Invisible: Evaluating the Impact of Public Funding on Open Source Software

Resumo Técnico: Medindo o Invisível – Avaliando o Impacto do Financiamento Público no Software de Código Aberto

Definição do Problema
O Software de Código Aberto (OSS) constitui uma camada crítica da infraestrutura digital contemporânea, mas sua sustentabilidade depende fortemente do trabalho voluntário não remunerado, criando um problema de "carona gratuita" (free rider) onde componentes críticos são submantidos. Embora iniciativas de financiamento público, como o Sovereign Tech Fund (STF) e seu sucessor, a Sovereign Tech Agency (STA), tenham surgido para aumentar a soberania digital e a segurança da cadeia de suprimentos, o impacto causal de tal financiamento na sustentabilidade do OSS permanece empiricamente não resolvido. A literatura existente está fragmentada entre modelos de avaliação econômica, que lutam com a heterogeneidade do OSS, e abordagens sociotécnicas, que frequentemente carecem de generalização. Existe uma lacuna específica na identificação causal sobre como o investimento público altera a trajetória dos repositórios de OSS em comparação ao que teria ocorrido sem a intervenção.

Metodologia
Este estudo emprega um framework quase-experimental para estimar o Efeito Médio do Tratamento sobre os Tratados (ATT) do financiamento da STA. A metodologia integra três componentes principais:

1. Framework Goal-Question-Metric (GQM): Para garantir que as métricas se alinhem aos pacotes de trabalho contratuais específicos, o estudo mapeia objetivos qualitativos de projetos para métricas quantitativas derivadas do dicionário CHAOSS (Community Health Analytics Open Source Software). Os resultados selecionados incluem:

   • Atividade do Projeto: Commits, Novos Issues, Issues Fechados.
   • Desenvolvimento: Novos Change Requests (Pull Requests), Change Requests Mesclados.
   • Comunidade: Contribuidores.
   • Maturidade: Releases.

2. Construção do Pool de Doadores via Propensity Score Matching (PSM): Para abordar o viés de seleção, o estudo constrói um grupo de controle a partir de projetos de OSS não financiados. Usando o conjunto de dados OpenSSF Scorecard para identificar infraestrutura crítica, o autor faz o pareamento de unidades tratadas (12 repositórios em 4 grandes projetos: PyPI, curl, Fortran e RubyGems) contra um pool de doadores de 62 repositórios de controle. O pareamento é baseado em covariáveis, incluindo repositórios dependentes, pacotes dependentes, stargazers, forks, ranking médio e status de propriedade. Isso reduziu a diferença média padronizada (SMD) das covariáveis em 74%.

3. Método de Controle Sintético Generalizado (GSCM): Reconhecendo que as premissas do Difference-in-Differences (DiD) padrão (especificamente tendências paralelas) frequentemente falham em ambientes não experimentais com unidades heterogêneas, o estudo utiliza o GSCM. Este método unifica o controle sintético com efeitos fixos interativos, permitindo a modelagem de confundidores variantes no tempo não observados. O modelo constrói trajetórias contrafatuais para projetos financiados usando a combinação ponderada do pool de doadores de controle. O estudo também emprega o Método de Controle Sintético Aumentado (ASCM) como uma verificação de robustez. Os dados abrangem de 2015 até o início do tratamento, agrupados por trimestres, com todas as variáveis de resultado transformadas em log para lidar com a esparsidade.

Principais Contribuições

• Framework de Inferência Causal: O artigo preenche a lacuna entre métricas descritivas e identificação causal na avaliação de OSS, demonstrando que o GSCM combinado com o PSM é um framework viável para avaliar o investimento público em OSS.
• Alinhamento de Métricas: Ele operacionaliza o framework GQM para garantir que as métricas de avaliação sejam diretamente rastreáveis aos pacotes de trabalho específicos definidos nos contratos de financiamento, indo além de métricas genéricas de "tamanho único".
• Evidência Empírica: Fornece as primeiras estimativas causais rigorosas do impacto do programa STF sobre dinâmicas específicas ao nível de repositório.

Resultos
A análise revela um efeito positivo estatisticamente significativo do financiamento do STF nas métricas relacionadas à velocidade de desenvolvimento e atividade, mas nenhum efeito significativo na expansão da comunidade ou na resolução do backlog:

• Efeitos Positivos Significativos:
  • Commits: Aumento de +143,8% (p < 0,01).
  • Novos Issues: Aumento de +249% (p < 0,01).
  • Change Requests Mesclados: Aumento de +175,5% (p < 0,05).
  • Novos Change Requests: Aumento de +137,8% (p < 0,05).
• Efeitos Não Significativos:
  • Contribuidores: Nenhuma mudança estatisticamente significativa no número de contribuidores.
  • Releases: Nenhum efeito significativo na frequência de releases.
  • Issues Fechados: Nenhum efeito significativo na resolução dos problemas existentes.

Os resultados indicam que o financiamento mobiliza a atividade de desenvolvimento e o engajamento existentes (mais commits, mais PRs, mais relatos de issues) em vez de expandir a base de contribuidores ou acelerar a resolução do backlog existente. O aumento nos novos issues é interpretado como um maior engajamento da comunidade ou um backlog em expansão que não é acompanhado pelo fechamento de issues.

Significância e Alegações
O artigo afirma que o financiamento público estimula efetivamente a atividade de desenvolvimento e o engajamento dentro dos repositórios visados, mas não resolve, por si só, restrições estruturais mais profundas, como a capacidade de manutenção ou o crescimento da comunidade.

• Implicações de Política: Os achados sugerem que os frameworks de avaliação devem ser adaptados aos objetivos específicos do programa. Avaliar um programa de "fellowship" (projetado para apoiar pessoas) usando métricas de "velocidade de commit", ou um fundo de "manutenção" usando métias de "crescimento de contribuidores", corre o risco de representar erroneamente o impacto. O estudo argumenta que o design do programa STF (focado em manutenção e engenharia) naturalmente gera picos de atividade em vez de expansão da comunidade, que é a competência de outros programas da STA, como o Fellowship.
• Contribuição Metodológica: O estudo demonstra que a inferência causal em OSS é viável, apesar da heterogeneidade dos projetos, ao usar o GSCM para lidar com confundidores não observados e o PSM para construir um pool de doadores comparável.
• Limitações: Os autores notam modestamente limitações, incluindo o tamanho restrito do pool de doadores, a incapacidade de estratificar por tipos específicos de contrato (segurança vs. backlog) e a falta de dados sobre projetos não financiados que foram pré-selecionados mas rejeitados (devido a questões éticas). Eles concluem que, embora o financiamento seja uma alavanca necessária, ele interage com fatores sociais e organizacionais e não é uma panaceia para todos os desafios de sustentabilidade.