The Costs of Pretending That There Are Data-Generating Probability Distributions in the Social World

Resumo Técnico: Os Custos de Fingir que Existem Distribuições Probabilísticas Geradoras de Dados no Mundo Social

1. O Problema

A pesquisa em Aprendizado de Máquina (ML), incluindo trabalhos sobre algoritmos justos, baseia-se quase universalmente na premissa de que os dados observados são amostrados de uma verdadeira distribuição probabilística geradora de dados (Gen-D). Este quadro teórico assume que os pontos de dados são independentes e identicamente distribuídos (i.i.d.) e que o objetivo do aprendizado é aproximar essa distribuição subjacente (ou o preditor Bayesiano ótimo $P(Y|X)$).

Os autores argumentam que, no contexto de cenários sociais (previsões sobre pessoas, como crédito, emprego ou criminalidade), essa premissa é fundamentalmente falsa e prejudicial.

• A Falácia da Existência: Não existem "verdadeiras" distribuições de probabilidade para comportamentos humanos. Probabilidades sociais são construídas, não descobertas.
• Consequências Negativas: A crença nessas distribuições oculta as escolhas de modelagem (como a seleção de atributos e a definição da população), cria uma ilusão de objetividade e obscurece os objetivos reais da prática de ML.
• Instabilidade Empírica: A dependência de distribuições fixas ignora que a probabilidade condicional $P(Y|X)$ muda drasticamente dependendo da janela temporal, da definição da população e da granularidade dos dados, tornando a noção de uma "verdadeira" distribuição inaplicável.

2. Metodologia

O artigo utiliza uma abordagem híbrida que combina análise filosófica, crítica teórica e demonstrações matemáticas alternativas:

• Crítica Conceitual e Filosófica: Os autores desconstroem a intuição de que probabilidades objetivas existem em jogos de azar (como roleta) e estendem essa crítica para o mundo social, argumentando que, ao contrário de sistemas físicos fechados, sistemas sociais não possuem estados latentes estáveis que gerem distribuições fixas.
• Análise de Dados Empíricos: São apresentados resultados empíricos (usando o conjunto de dados ACS Income) demonstrando que:
  • A escolha da população de treinamento (ex: últimos 1 ano vs. últimos 4 anos) altera significativamente as previsões individuais (cerca de 10% das previsões mudam em mais de 10%).
  • A "multiplicidade de modelos" (diferentes modelos com desempenho médio similar, mas previsões individuais divergentes) é comum, contradizendo a ideia de um único preditor ótimo que aproxima uma verdade oculta.
• Desenvolvimento Teórico Alternativo (Quadro de Populações Finitas):
  • Os autores propõem abandonar o quadro Gen-D em favor de um modelo baseado em populações finitas.
  • Eles derivam limites de generalização sem assumir uma distribuição subjacente, tratando o aprendizado como uma amostragem sem reposição de uma população finita.
  • Prova Matemática: Apresentam um Lema de Simetrização Modificado e um Teorema de Limite de Generalização (Teorema 3) que se baseiam na medida de contagem ($\mu$) de possíveis amostras de uma população finita, em vez de expectativas sobre distribuições contínuas. Isso mostra que a generalização pode ser garantida matematicamente sem invocar distribuições verdadeiras.

3. Principais Contribuições

1. Refutação da Existência de Gen-D em Contextos Sociais: Demonstram que assumir a existência de uma distribuição geradora de dados para comportamentos humanos é uma idealização perigosa que não se sustenta empiricamente nem teoricamente.
2. Teoria de Aprendizado sem Gen-D: Fornecem uma estrutura teórica rigorosa (baseada em populações finitas e amostragem sem reposição) que mantém os resultados clássicos de teoria de aprendizado (como limites de erro de generalização) sem a necessidade de pressupostos probabilísticos irreais.
3. Desmistificação da Objetividade: Argumentam que a linguagem de "aproximação de distribuições verdadeiras" cria uma aura de objetividade indevida, mascarando escolhas de valor (como a seleção de variáveis e a definição de "similaridade" entre indivíduos).
4. Reinterpretação de Trade-offs (Justiça vs. Precisão): Mostram que a suposição de um preditor Bayesiano ótimo (baseado em Gen-D) leva a uma visão distorcida dos trade-offs entre justiça e precisão. Na realidade, sem uma "verdade" a ser aproximada, é possível encontrar modelos menos discriminatórios sem perda de desempenho, algo que o quadro Gen-D tende a esconder.
5. Crítica à Abstração e Referência: Destacam que a escolha do espaço de entrada ($\mathcal{X}$) e a definição de classes de referência são escolhas de modelagem arbitrárias, não propriedades inerentes aos dados. O quadro Gen-D tende a tratar essas escolhas como dadas e imutáveis.

4. Resultados e Evidências

• Instabilidade Temporal: Modelos treinados em dados de 2017 vs. 2014-2017 geram previsões divergentes para o mesmo indivíduo, provando que a "distribuição" não é estável.
• Multiplicidade de Modelos: Em conjuntos de dados de crédito e emprego, múltiplos modelos com perda média quase idêntica apresentam discrepâncias de 20-40 pontos percentuais nas previsões individuais. Isso invalida a ideia de que todos estão convergindo para uma única "verdadeira" distribuição.
• Limites de Generalização: O Teorema 3 prova que, para populações finitas grandes, a taxa de erro em uma amostra será semelhante à taxa de erro no conjunto restante para a vasta maioria das amostras possíveis, sem necessidade de assumir uma distribuição de probabilidade subjacente.
• Impacto na Justiça: A crença em probabilidades verdadeiras individuais (ex: "risco real de reincidência") pode levar a intervenções individualistas ineficazes, ignorando diferenças estruturais que afetam grupos inteiros.

5. Significado e Implicações

• Mudança de Paradigma: O artigo sugere uma mudança de foco de "descobrir a distribuição verdadeira" para "construir modelos úteis para uma população específica e um objetivo de perda definido".
• Responsabilidade e Transparência: Ao remover a ilusão de que os dados "falam por si mesmos" através de uma distribuição objetiva, os autores forçam a comunidade a assumir a responsabilidade pelas escolhas de modelagem (abstração, seleção de dados, definição de população).
• Justiça Algorítmica: A abordagem propõe que a justiça não deve ser vista como um desvio de um ótimo Bayesiano (que não existe), mas como uma escolha de design consciente. Isso abre espaço para algoritmos que são menos discriminatórios sem sacrificar a utilidade.
• Prática de ML: Recomenda-se que pesquisadores e praticantes evitem o jargão de "distribuição geradora de dados" em contextos sociais e adotem uma postura mais modesta, reconhecendo que os modelos são construções dependentes de contexto, e não espelhos da realidade.

Em suma, o artigo argumenta que a persistência no quadro Gen-D no mundo social é um obstáculo epistemológico e ético. A adoção de um quadro de populações finitas oferece uma base teórica mais sólida, honesta e responsável para o desenvolvimento e avaliação de sistemas de ML que impactam vidas humanas.