Resumo Técnico: Otimizando o Aprendizado de Máquina em Conjuntos de Dados Tabulares de Ciências Sociais

Declaração do Problema

O aprendizado de máquina oferece ferramentas poderosas para identificar interações complexas e padrões não lineares nas ciências sociais, mas o desempenho preditivo muitas vezes permanece baixo, particularmente ao trabalhar com tamanhos de amostra pequenos, comuns em pesquisas e estudos de eventos raros. No contexto do desafio de dados Predicting Fertility (PreFer), pesquisadores foram incumbidos de prever nascimentos e adoções usando dados administrativos e de pesquisa holandesa. O desafio central abordado neste artigo é como melhorar a precisão preditiva em conjuntos de dados tabulares de ciências sociais onde os tamanhos de amostra são limitados e o número de recursos disponíveis pode ser insuficiente para capturar toda a complexidade do resultado.

Os autores enquadram o problema através da lente de duas fontes de erro de predição:

1. Erro de Aprendizado (Learning Error): A lacuna entre as predições e a verdadeira média condicional para indivíduos idênticos, causada pela falha do modelo em aprender a relação entre os recursos (features) e os resultados. Isso é frequentemente exacerbado por pequenos tamanhos de amostra.
2. Erro Irredutível (Irreducible Error): A lacuna entre a verdadeira média condicional e o resultado real para indivíduos idênticos, que só pode ser reduzida alterando o conjunto de recursos (ou seja, adicionando mais informações relevantes).

Metodologia

Os autores empregaram duas estratégias específicas de engenharia de dados para criar efetivamente "mais" dados, abordando tanto o erro de aprendizado (via expansão do tamanho da amostra) quanto o erro irredutível (via expansão de recursos). Essas estratégias foram aplicadas aos dados da pesquisa longitudinal Longitudinal Internet studies for the Social Sciences (LISS).

1. Aumento de Dados por Deslocamento Temporal (Time-Shift Data Augmentation)

Esta estratégia aborda o erro de aprendizado ao aumentar artificialmente o tamanho da amostra.

• Conceito: Aproveitando a natureza longitudinal dos dados de painel, os autores reaproveitaram observações de períodos anteriores para criar casos de treinamento adicionais.
• Implementação:
  • O conjunto de dados original estava em um formato "largo" (uma linha por indivíduo com múltiplos anos de dados). Os autores converteram este para um formato "longo", onde cada linha representa uma entidade-período de tempo (um "pessoa-ano").
  • Eles calcularam resultados para um período de três anos anterior (2018–2020) e anexaram estes como novas linhas aos dados de treinamento.
  • Alinhamento Temporal: Os recursos foram sistematicamente renomeados e deslocados três anos à frente para manter a correta relação temporal entre os preditores e os resultados. Por exemplo, uma variável de intenção de fertilidade de 2017 foi renomeada para corresponder à variável de 2020, pois ambas representavam intenções medidas um ano antes de seus respectivos períodos de resultado.
  • Ajustes de Valor: Valores dependentes do tempo (ex: anos de nascimento) foram ajustados somando três anos. Valores monetários (ex: renda) foram ajustados usando o Índice de Preços ao Consumidor para contabilizar a inflação.
  • Mitigação de Drift: Para abordar o potencial "drift temporal" (mudanças nos padrões de dados ao longo do tempo), um recurso binário foi adicionado para indicar se uma linha se originou do período original ou do período deslocado no tempo, permitindo que o modelo aprenda diferenças sistemáticas.
• Resultado: Esta estratégia quase triplicou o tamanho da amostra de 987 para 2.839.

2. Vinculação de Parceiros (Partner Linkage)

Esta estratégia aborda o erro irredutível ao aumentar o número de recursos.

• Conceito: Muitos conjuntos de dados de ciências sociais armazenam membros da mesma unidade doméstica em linhas separadas, impedindo que os modelos utilizem informações sobre cônjuges ou parceiros de coabitação ao prever o resultado de um indivíduo.
• Implementação:
  • Os autores identificaram parceiros dentro da pesquisa LISS usando IDs de domicílio e rótulos de posição de relacionamento (ex: "parceiro casado", "parceiro não casado").
  • Filtros rigorosos foram aplicados para garantir a precisão do pareamento, incluindo o cruzamento de autorrelatos de coabitação e a verificação de que os gêneros e anos de nascimento relatados coincidiam entre os parceiros.
  • Uma vez vinculados, os recursos das respostas do parceiro (ex: intenções de fertilidade, visitas ao ginecologista, ano de nascimento) foram mesclados na linha da pessoa focal.
  • A vinculação foi realizada apenas quando ambos os parceiros possuíam resultados não ausentes para garantir a consistência entre os conjuntos de treinamento e de teste (holdout).
• Resultado: Os dados do parceiro foram vinculados com sucesso para aproximadamente 35% de todas as pessoa-anos com parceiros, adicionando 14 recursos específicos do parceiro ao modelo.

Modelo e Avaliação

• Algoritmo: O principal modelo utilizado foi o XGBoost (um framework de gradient boosting) com ajuste de hiperparâmetros via busca em grade (grid search). Uma regressão logística também foi testada como prova de conceito.
• Engenharia de Recursos: Além das duas principais estratégias, os autores construíram escalas para atitudes abstratas (ex: atitudes tradicionais de fertilidade) e dados "coalescidos" ao longo do tempo (selecionando o valor mais recente para medidas repetidas).
• Validação: O estudo utilizou validação cruzada de 5 dobras (5-fold cross-validation). Crucialmente, para evitar vazamento de dados (data leakage) e drift temporal, os dados deslocados no tempo foram incluídos apenas nas dobras de treinamento, não nas dobras de teste. Membros da mesma unidade doméstica foram mantidos dentro da mesma dobra para evitar vazamento de informação.
• Métricas: O desempenho foi avaliado usando $R^2_{CV}$ (R-quadrado de validação cruzada), F1 score e outras métricas padrão. Intervalos de confiança foram gerados via bootstrapping.

Principais Resultados

O estudo demonstra que ambas as estratégias de engenharia de dados, de forma independente e conjunta, melhoraram o desempenho preditivo:

1. Desempenho de Linha de Base (Baseline): Usando o conjunto de treinamento original (987 casos), o modelo XGBoost alcançou um $R^2_{CV}$ de 0,543.
2. Impacto Individual das Estratégias:
   • Vinculação de Parceiros: Aumentou o $R^2_{CV}$ para 0,557 (+0,013). Os autores observam que este ganho foi modesto em parte porque os dados do parceiro só puderam ser mesclados para ~35% dos indivíduos com parceiros.
   • Aumento por Deslocamento Temporal: Aumentou o $R^2_{CV}$ para 0,581 (+0,037).
3. Impacto Combinado: A aplicação de ambas as estratégias juntas elevou o $R^2_{CV}$ para 0,591, um aumento de +0,047 sobre a linha de base.
4. Magnitude Contextual:
   • O aumento combinado de +0,047 foi aproximadamente equivalente a 30% do ganho total de desempenho alcançado pelo modelo vencedor sobre uma linha de base simples de "intenções de fertilidade".
   • O ganho das estratégias combinadas foi maior do que o ganho alcançado apenas pelo ajuste de hiperparâmetros (que melhorou o desempenho em ~0,023).
   • Em termos da métrica principal da competição (F1 score), as estratégias combinadas melhoraram o desempenho em 0,030, uma diferença quase tão grande quanto a lacuna entre o modelo vencedor e o segundo colocado.
5. Generalização: As estratégias também melhoraram o desempenho quando aplicadas a um modelo de regressão logística com recursos de linha de base e a um modelo de regressão logística com o conjunto completo de recursos, sugerindo que os benefícios não são específicos para modelos baseados em árvores.

Significância e Alegações

O artigo afirma que o desempenho vencedor no desafio PreFer foi impulsionado não por uma arquitetura de modelo inovadora (já que os autores usaram um modelo XGBoost padrão), mas por uma engenharia de dados criativa que transformou os dados existentes em efetivamente "mais" dados.

• Utilidade Prática: Os autores argumentam que estas estratégias são amplamente aplicáveis a uma vasta gama de conjuntos de dados de ciências sociais, incluindo pesquisas longitudinais e registros administrativos, particularmente onde os tamanções de amostra são pequenos.
• Abordagem de Fontes de Erro: O trabalho fornece um estudo de caso concreto de como abordar simultaneamente o erro de aprendizado (via expansão do tamanho da amostra) e o erro irredutível (via expansão de recursos).
• Gestão de Dados: O artigo conclui com recomendações para que os gestores de dados estruturem os dados em formatos passíveis de processamento por máquinas (ex: nomenclatura consistente de variáveis entre ondas, IDs de domicílio claros) para facilitar tais técnicas de aumento.
• Alegações Modestas: Os autores mantêm-se modestos, reconhecendo que os benefícios destas estratégias dependem da tarefa de predição específica. Eles observam que o drift temporal pode reduzir a utilidade do aumento por deslocamento temporal em contextos de mudança rápida, e que a vinculação de parceiros pode levar ao overfitting se as características do parceiro forem irrelevantes para o resultado. Eles sugerem que a "maldição da dimensionalidade" associada à adição de recursos pode ser mitigada pelo aumento do tamanho da amostra proporcionado pelo deslocamento temporal.

Em resumo, o artigo postula que os cientistas sociais frequentemente possuem mais dados disponíveis do que imaginam, e que o aumento estratégico e a vinculação podem melhorar significativamente o desempenho do aprendizado de máquina em contextos de dados tabulares de ciências sociais.