Comparison of generalised additive models and neural networks in applications: A systematic review

Resumo Técnico: Comparação de Modelos Aditivos Generalizados e Redes Neurais em Aplicações

Definição do Problema
As redes neurais (RNs) tornaram-se dominantes na modelagem preditiva, particularmente para tarefas que envolvem reconhecimento de imagens e processamento de linguagem natural, muitas vezes priorizando a precisão preditiva em detrimento da interpretabilidade. Por outro lado, os Modelos Aditivos Generalizados (GAMs) oferecem uma estrutura estatística flexível e não linear que mantém a interpretabilidade por meio de uma estrutura aditiva. Embora ambos sejam o estado da arte, há uma falta de compreensão sistemática em relação ao seu desempenho relativo em dados tabulares do mundo real. Revisões sistemáticas anteriores concentraram-se amplamente em domínios específicos (por exemplo, transporte, saúde cardíaca) ou compararam RNs contra modelos lineares mais simples (por exemplo, regressão linear ou logística), falhando em considerar as capacidades não lineares de modelos estatísticos modernos como os GAMs. Este artigo aborda essa lacuna ao realizar uma revisão sistemática e uma meta-análise comparando GAMs e RNs em um amplo espectro de áreas de aplicação.

Metodologia
O estudo adere às diretrizes do Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA).

• Coleta de Dados: Uma busca na base de dados Scopus rendeu 445 documentos. Após a triagem para elegibilidade (revisado por pares, em inglês, texto completo, comparação empírica de GAMs e RNs no mesmo conjunto de dados e disponibilidade de métricas de desempenho), 143 artigos foram selecionados. Esses artigos continham 430 conjuntos de dados distintos.
• Extração de Dados: Os atributos foram extraídos tanto em nível de artigo (domínio, periódico, ano) quanto em nível de conjunto de dados (tamanho da amostra, número de preditores, tipo de problema, arquitetura de rede neural, complexidade e métricas de desempenho).
• Análise Estatística: Para abordar a Questão de Pesquisa 3 (fatores associados às diferenças de desempenho), os autores empregaram a modelagem de efeitos mistos lineares. Esta abordagem foi escolhida para considerar a estrutura hierárquica dos dados, onde múltiplos conjuntos de dados estão aninhados dentro de um único artigo, introduzindo dependência intra-artigo.
  • Variáveis de Resposta: A análise focou nas três métricas mais frequentemente relatadas: Raiz do Erro Quadrático Médio (RMSE), $R^2$ e Área Sob a Curva (AUC). Para garantir a invariância de escala entre diversos conjuntos de dados, os autores computaram razões de log das métricas de desempenho (ex: $\log(\text{RMSE}_{\text{GAM}}/\text{RMSE}_{\text{NN}})$), convertendo $R^2$ e AUC em medidas de perda ($1-R^2$, $1-\text{AUC}$) para alinhar com o RMSE.
  • Preditores: Os efeitos fixos incluíram o ano de publicação, área de domínio, tamanho da amostra, número de preditores e complexidade da rede neural. Interações pareadas com o ano de publicação foram incluídas para avaliar tendências temporais. Um intercepto aleatório para o "ID do Artigo" foi incluído para capturar a heterogeneidade específica de cada artigo.
  • Tratamento de Dados Ausentes: Dado que o tamanho da amostra, a contagem de preditores e a complexidade eram frequentemente não relatados, os valores ausentes foram convertidos em níveis categóricos "Desconhecido" em vez de serem descartados, permitindo a avaliação de se a ausência de informação correlacionava-se com os resultados.

Principais Resultados

• Desempenho Geral: Em todos os 430 conjuntos de dados, não houve evidência consistente de superioridade para GAMs ou redes neurais ao considerar as métricas mais comuns (RMSE, $R^2$, AUC). Os interceptos dos modelos de efeitos mistos não foram estatisticamente significativos em relação a zero, indicando que, em média, nenhuma classe de modelo supera sistematicamente a outra.
• Complexidade da Rede Neural: Para o RMSE, a complexidade da rede neural e sua interação com o tempo foram significativas. Em 2011, redes de complexidade média e grande apresentaram desempenho inferior em relação aos GAMs comparado a redes menores. No entanto, esse efeito negativo diminuiu ao longo do tempo; até 2024, a complexidade não estava mais associada a uma vantagem ou desvantagem de desempenho em relação aos GAMs.
• Dimensões do Conjunto de Dados (Tamanho da Amostra e Preditores): Para a AUC, tamanhos de amostra maiores e números mais elevados de preditores foram historicamente associados a um melhor desempenho das redes neurais em relação aos GAMs. Contudo, a interação com o tempo mostrou que essa vantagem diminuiu significativamente. Em anos recentes, não existe associação estatisticamente significativa entre as dimensões do conjunto de dados e o desempenho relativo dos dois modelos.
• Qualidade do Relato: Um achado significativo foi a alta taxa de informações ausentes na literatura. Apenas 21% dos conjuntos de dados relataram os três atributos principais (tamanho da amostra, preditores e complexidade). A complexidade não relatada da rede neural representou a maior parte da ausência de dados (relatada em apenas 35% dos conjuntos de dados).
• Correlação Intra-Artigo: O Coeficiente de Correlação Intraclasse (ICC) foi alto (variando de 0,76 a 0,97), indicando uma variabilidade substancial entre os artigos que não pôde ser explicada pelas variáveis observadas no nível do conjunto de dados. Isso sugere que detalhes metodológicos não relatados (ex: pré-processamento, ajuste de hiperparâmetros) provavelmente impulsionam as diferenças de desempenho mais do que a própria classe do modelo.

Significância e Conclusões
O artigo afirma que GAMs e redes neurais devem ser vistos como abordagens complementares, em vez de competidoras, para dados tabulares. O estudo conclui que:

1. Compensações de Desempenho (Trade-offs): A compensação de desempenho entre os dois métodos é modesta. Nenhuma classe de modelo possui uma vantagem consistente em diversas aplicações.
2. Interpretabilidade: Dado o desempenho comparável, os GAMs permanecem uma escolha robusta, particularmente em pesquisas científicas onde a interpretabilidade e a transparência são primordiais.
3. Padrões de Relato: A revisão destaca uma falta crítica de padronização no relato da literatura de aprendizado de máquina, especificamente em relação às características do conjunto de dados e à complexidade do modelo. Essa opacidade limita a reprodutibilidade e a capacidade de tirar conclusões definitivas sobre a superioridade dos modelos.
4. Direções Futiores: Os autores sugerem que pesquisas futuras foquem em protocolos de relato padronizados (ex: "model cards") e, potencialmente, na realização de reanálises independentes de conjuntos de dados desta revisão usando protocolos consistentes para isolar os efeitos das escolhas de modelagem das inconsistências de relato.

O artigo enfatiza que, embora as redes neurais se destaquem em domínios complexos e não tabulares, elas não oferecem uma vantagem decisiva de desempenho sobre os GAMs para dados tabulares, tornando a escolha entre eles dependente do valor específico atribuído à interpretabilidade versus ganhos preditivos.