🤖 machine learning

Neural Additive and Basis Models with Feature Selection and Interactions

Este artigo propõe a integração de uma camada de seleção de características treinável em Modelos Aditivos e de Base Neurais para superar gargalos computacionais em configurações de alta dimensionalidade, permitindo assim a modelagem eficiente de interações de características enquanto mantém a interpretabilidade e o desempenho competitivo.

Autores originais: Yasutoshi Kishimoto, Kota Yamanishi, Takuya Matsuda, Shinichi Shirakawa

Publicado 2026-06-19

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yasutoshi Kishimoto, Kota Yamanishi, Takuya Matsuda, Shinichi Shirakawa

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando prever o resultado de um evento complexo, como se um paciente irá se recuperar ou se um empréstimo será aprovado. Você tem uma lista massiva de pistas (características) para ajudar na sua decisão.

O Problema: A "Caixa Preta" vs. A Caixa "Pesada Demais"
No mundo da Inteligência Artificial, existem duas formas principais de resolver esses enigmas:

A Caixa Preta (Redes Neurais Profundas): Elas são incrivelmente inteligentes e precisas, mas funcionam como um truque de mágica. Você insere os dados, entra e uma resposta sai, mas ninguém sabe como a máquina tomou aquela decisão. Em campos como medicina ou direito, isso é perigoso porque você precisa confiar no raciocínio.
A Caixa Transparente (Modelos Aditivos Generalizados): Elas são como uma equipe de especialistas. Cada especialista olha para apenas uma pista (ex: "idade" ou "renda") e dá uma pontuação. A resposta final é apenas a soma de todas essas pontuações. Isso é fácil de entender porque você consegue ver exatamente como cada pista contribuiu. No entanto, as caixas transparentes tradicionais muitas vezes não são inteligentes o suficiente para lidar com relações complexas entre as pistas.

A Solução Existente: NAM e NBM
Pesquisadores criaram os "Modelos Aditivos Neurais" (NAM) e os "Modelos de Base Neurais" (NBM). Pense nisso como uma atualização da "Caixa Transparente". Em vez de especialistas simples, eles usam pequenos cérebros de IA inteligentes (Redes Neurais) para observar cada pista. Isso os torna tanto inteligentes quanto transparentes. Você ainda consegue ver como cada pista afeta o resultado.

O Gargalo: A Crise das "Pistas Demais"
É aqui que o método antigo falha.

O Problema da Interação: Às vezes, as pistas funcionam melhor juntas. Por exemplo, "Idade" e "Renda" podem prever algo melhor quando observadas juntas, em vez de separadamente. Para fazer isso, os modelos antigos tentavam criar um pequeno cérebro de IA para cada par possível de pistas.
O Pesadelo Matemático: Se você tiver 1.000 pistas, existem quase 500.000 pares possíveis. Tentar treinar 500.000 pequenos cérebros de IA ao mesmo tempo é como tentar contratar 500.000 funcionários para trabalhar em um escritório minúsculo. Isso trava o computador, leva uma eternidade e torna-se impossível de gerenciar.
A Barreira da Alta Dimensionalidade: Quando os conjuntos de dados ficam enormes (milhares de pistas), os modelos antigos simplesmente param de funcionar. Eles ficam sem memória e tempo.

A Nova Solução: O "Seletor Inteligente"
Os autores deste artigo propõem uma correção simples, mas poderosa: Seleção de Características (Feature Selection).

Imagine que você é um detetive com um enorme quadro de evidências. Em vez de tentar analisar cada peça de evidência de uma vez (o que é impossível), você contrata um Seletor Inteligente.

Como funciona: O modelo começa com um "menu" de todas as pistas possíveis. Durante o treinamento, ele aprende a atribuir um "peso" a cada pista.
O Filtro: Ele utiliza um filtro matemático especial (chamado entmax) que atua como uma peneira. Ele mantém as pistas mais importantes e efetivamente "desliga" as inúteis.
O Resultado: Em vez de tentar construir 500.000 cérebros de IA para cada par de pistas, o modelo constrói cérebros apenas para as 50 ou 500 pistas e pares mais importantes.

Os Benefícios

Velocidade: Como o modelo ignora os dados inúteis, ele roda muito mais rápido. O artigo mostra que, enquanto os modelos antigos travam em conjuntos de dados com mais de 1.000 pistas, os novos modelos (chamados NAM-FS e NBM-FS) lidam com eles suavemente.
Interações: Isso permite que o modelo observe pares de pistas trabalhando juntas (como "Idade + Renda") sem ser sobrecarregado pela matemática.
Transparência: Mesmo que esteja selecionando as melhores pistas, ele permanece transparente. Você ainda pode ver exatamente quais pistas foram escolhidas e como elas influenciaram a decisão final.

Os Resultados
Os autores testaram isso em seis conjuntos de dados do mundo real com milhares de pistas.

Desempenho: Seus novos modelos foram tão precisos, ou até melhores, que os melhores modelos "transparentes" existentes.
Eficiência: Eles foram significamente mais rápidos e puderam lidar com tamanhos de dados que os modelos antigos nem sequer conseguiam tocar.
Comparação: Eles também provaram que deixar o modelo aprender quais pistas escolher durante o treinamento é melhor do que tentar escolher as pistas manualmente antes de começar.

Em Resumo
Este artigo apresenta uma maneira de criar modelos de IA inteligentes e transparentes que podem lidar com quantidades massivas de dados. Ele faz isso ensinando a IA a ignorar o ruído e focar apenas nas pistas e nos seus relacionamentos mais importantes, resolvendo o problema de modelos que são ou inteligentes demais para serem úteis ou pesados demais para rodar.

Problema
Redes neurais profundas (DNNs) oferecem altas capacidades de representação, mas frequentemente carecem de interpretabilidade, limitando seu uso em campos de alta confiabilidade, como medicina e direito. Embora os Modelos Aditivos Generalizados (GAMs) e suas variantes neurais, o Modelo Aditivo Neural (NAM) e o Modelo de Base Neural (NBM), proporcionem um equilíbrio entre interpretabilidade e desempenho, eles enfrentam problemas significativos de escalabilidade. As arquiteturas padrão do NAM e NBM atribuem uma rede neural (NN) separada para cada característica de entrada. Ao serem estendidos para capturar interações de pares de características (criando GA2Ms), a abordagem ingênua exige a preparação de funções de forma para todos os pares possíveis de características. Isso resulta em uma complexidade computacional de $O(D^2)$ , onde $D$ é o número de características. Consequentemente, treinar esses modelos em conjuntos de dados de alta dimensão (por exemplo, $D > 1.000$ ) torna-se intratável devido ao consumo excessivo de memória e custos computacionais. Além disso, gerenciar e visualizar milhares de funções de forma compromete a interpretabilidade que os GAMs foram projetados para fornecer.

Metodologia
Os autores propõem incorporar um mecanismo de seleção de características diferenciável diretamente no treinamento do NAM e do NBM para resolver esses gargalos. Os modelos propostos, denominados NAM-FS e NBM-FS, introduzem uma camada de seleção de características que seleciona dinamicamente um número predefinido de características únicas ( $K_1$ ) e pares de características ( $K_2$ ) durante o processo de treinamento.

Os principais componentes técnicos incluem:

Seleção Diferenciável: Em vez de seleção de características discreta, que não é diferenciável, os autores utilizam entmax (uma versão generalizada de softmax e sparsemax) para relaxar o processo de seleção. Isso permite que o modelo otimize os pesos de seleção de características via gradiente estocástico (SGD) de forma ponta a ponta.
Recozimento de Temperatura (Temperature Annealing): Um parâmetro de temperatura $\tau$ é introduzido e submetido a recozimento durante o treinamento. À medida que $\tau$ diminui, a saída da entmax aproxima-se de um vetor one-hot, fixando efetivamente as características selecionadas para as funções de forma.
Arquitetura: Os modelos substituem o conjunto completo de $D$ (ou $D(D-1)/2$ ) funções de forma por um conjunto menor e fixo de $K_1$ NNs univariadas e $K_2$ bivariadas. A entrada para essas NNs é uma combinação ponderada das características originais determinada pelos pesos de seleção aprendidos.
Otimização de Implementação: Os autores otimizaram a implementação das camadas NAM usando torch.bmm (produto de matriz-matriz em lote) no PyTorch, alcançando uma aceleração de 2 a 6 vezes em comparação com implementações anteriores de convolução 1-D.

Principais Contribuições

Integração de Seleção de Características: O artigo introduz um mecanismo de seleção de características simples e de ponta a ponta para NAM e NBM, permitindo sua aplicação em conjuntos de dados de alta dimensão onde as versões puras falham.
Escalabilidade com Interações: O método permite a incorporação eficiente de interações de pares de características (estilo GA2M) mesmo em configurações de alta dimensão, limitando o número de termos de interação a um $K_2$ gerenciável.
Eficiência Computacional: Os modelos propostos reduzem significamente o número de parâmetros treináveis e operações de multiplicação-acumulação (MACs), resultando em maior vazão (throughput) em comparação com as variantes vanilla de NAM, NBM e suas variantes baseadas em interações (NA2M, NB2M).
Validação de Desempenho: Os autores demonstram que o NAM-FS e o NBM-FS alcançam desempenho melhor ou comparável aos GAMs e GA2Ms de última geração em tarefas de classificação de alta dimensão, superando o NAM/NBM vanilla que dependem de características pré-selecionadas.

Resultos
Experimentos foram conduzidos em seis conjuntos de dados de classificação de alta dimensão (variando de 561 a 5.000 características).

Vazão (Throughput): O NA2M e o NB2M vanilla não conseguiram rodar em conjuntos de dados com mais de 100 características devido a restrições de memória. Em contrapartida, o NAM-FS e o NBM-FS mantiveram uma vazão estável mesmo com até 50.000 características.
Acurácia: Em conjuntos de dados de alta dimensão (por exemplo, guillermo com 4.296 características e Gisette com 5.000 características), o NAM-FS(500) e o NBM-FS(500) alcançaram a maior acurácia entre todos os GAMs testados.
Interações: Modelos que incorporam interações de pares (NA2M-FS e NB2M-FS) com $K_2=500$ superaram os GA2Ms de última geração (EB2M e NODE-GA2M) em diversos conjuntos de dados.
Eficácia da Seleção de Características: Quando comparados ao NAM/NBM treinados em características pré-selecionadas via informação mútua, os métodos de seleção de características de ponta a ponta propostos geralmente produziram maior acurácia, demonstrando a eficidade de aprender a seleção de características conjuntamente com os parâmetros do modelo.

Significância e Alegações
O artigo alega que, ao integrar a seleção de características no ciclo de treinamento, o NAM e o NBM podem ser escalonados para conjuntos de dados de alta dimensão sem sacrificar sua vantagem central: a interpretabilidade. Os autores enfatizam que seu método é simples, porém eficaz, permitindo a visualização de um número gerenciável de funções de forma enquanto captura interações complexas de características. Eles observam que, embora os modelos sejam altamente eficazes para dados de alta dimensão, suas vantagens diminuem em configurações de baixa dimensão (menos de 100 características). O trabalho posiciona esses modelos como uma solução prática para aplicações que exigem tanto alta precisão preditiva quanto interpretabilidade global em domínios complexos e de alta dimensão.

Mais como este