🤖 machine learning

Learning Expressive Random Feature Models via Parametrized Activations

Este artigo introduz o Modelo de Características Aleatórias com Funções de Ativação Aprendíveis (RFLAF), que parametriza funções de ativação por meio de somas ponderadas de funções de base para expandir significativamente a expressividade do modelo e alcançar desempenho e eficiência superiores em comparação aos modelos tradicionais de características aleatórias com ativação fixa.

Autores originais: Zailin Ma, Jiansheng Yang, Yaodong Yang

Publicado 2026-06-23

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zailin Ma, Jiansheng Yang, Yaodong Yang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a reconhecer padrões, como distinguir um gato de um cachorro em uma foto. Para fazer isso, o robô usa um "tradutor" matemático chamado Modelo de Características Aleatórias (Random Feature Model). Pense neste tradutor como uma linha de montagem de uma fábrica.

Em uma fábrica padrão (modelos tradicionais), os trabalhadores (as funções de ativação) estão presos fazendo exatamente o mesmo movimento repetitivo todas as vez. Eles são rígidos. Se a tarefa mudar ligeiramente, a fábrica tem dificuldade em se adaptar porque os trabalhadores não conseguem mudar sua rotina.

Este artigo apresenta uma nova fábrica mais inteligente chamada RFLAF (Modelo de Características Aleatórias com Funções de Ativação Aprendíveis). Veja como ela funciona, decomposta em conceitos simples:

1. O Problema: Os Trabalhadores Rígidos

Do jeito antigo, a fábrica usa uma "ferramenta" fixa (uma função de ativação fixa) para processar dados. É como tentar consertar um pneu furado com um martelo. Pode funcionar para algumas coisas, mas é terrível para outras. O modelo não consegue aprender qual ferramenta é a melhor para o trabalho específico; ele apenas usa aquela com a qual nasceu.

2. A Solução: O Kit de Ferramentas Mutante

Os autores propõem dar aos trabalhadores da fábrica um kit de ferramentas mutante. Em vez de uma ferramenta fixa, os trabalhadores têm um conjunto de blocos de construção básicos (chamados de "funções de base"). Esses blocos são como:

Funções de Base Radial (RBFs): Pense nestas como curvas suaves e em forma de sino (como uma colina suave).
Splines: Pense nestas como réguas flexíveis e dobráveis.
Polinômios: Pense nestas como linhas curvas e onduladas.

A magia do RFLAF é que o modelo aprende como misturar e combinar esses blocos. Ele descobre: "Para esta tarefa específica, eu preciso de 30% de uma colina, 50% de uma régua dobrável e 20% de uma ondulação". Ele cria uma ferramenta personalizada na hora, que se ajusta perfeitamente aos dados.

3. A Descoberta da "Colina Única"

Antes de construir o kit de ferramentas complexo, os autores estudaram o que acontece se você usar apenas uma dessas formas de "colina" (uma única Função de Base Radial).

O Achado: Eles descobriram uma fórmula matemática oculta (um "kernel") que descreve exatamente como essa única colina interage com os dados.
O Limite: Eles descobriram que usar apenas uma colina não é suficiente para tornar o modelo super inteligente. Ainda é um pouco limitado, como ter apenas um tipo de chave de fenda.

ção 4. O Poder da Mistura

A verdadeira inovação acontece quando você combina muitas dessas colinas com pesos aprendíveis.

O Resultado: Ao misturar muitas colinas, o modelo pode representar uma variedade muito maior de formas e padrões. Ele se torna incrivelmente expressivo, o que significa que pode entender dados complexos muito melhor do que os antigos modelos rígidos.
O Custo: Os autores provam matematicamente que você não precisa de uma fábrica enorme para fazer isso. Você só precisa de um pouco mais de "espaço" (parâmetros) para obter um enorme aumento de desempenho. É como atualizar o motor de um carro pequeno com um sistema de injeção de combustível ligeiramente melhor para obter a velocidade de um carro de corrida.

5. A Corrida: Colinas vs. Réguas

A equipe testou sua nova fábrica contra as antigas usando dados do mundo real (como reconhecer números escritos à mão ou prever preços de casas).

Os Vencedores: Os modelos usando Colinas (RBFs) e Réguas Dobráveis (Splines) superaram consistentemente os antigos modelos rígidos.
O Veloz: Embora tanto as Colinas quanto as Réguas fossem boas, as Colinas (RBFs) foram as claras campeãs. Elas foram três vezes mais rápidas de computar do que as Réguas, ao mesmo tempo em que entregaram os melhores resultados.
Os Perdedores: As "linhas onduladas" (polinômios) eram instáveis e frequentemente falhavam quando as tarefas se tornavam complexas demais.

6. O Teste "Congelado" vs. "Descongelado"

Finalmente, os autores realizaram um experimento final. Eles pegaram sua nova "fábrica inteligente" e deixaram que ela mudasse tudo, não apenas as ferramentas, mas também a configuração inicial da linha de montagem (descongelando os parâmetros da primeira camada).

O Resultado: Mesmo quando comparado às redes neurais padrão e modernas (o estado da arte atual), a abordagem de "fábrica inteligente" deles se manteve firme e, muitas vezes, teve um desempenho superior. Isso prova que a ideia de "aprender a ferramenta" é uma atualização poderosa para qualquer rede neural.

Resumo

Em suma, este artigo diz: "Pare de usar um martelo para tudo. Dê à sua IA um kit de ferramentas de formas, deixe-a aprender como misturá-las e você terá um modelo mais inteligente, rápido e adaptável." Especificamente, usar misturadores em "forma de colina" (RBFs) é o ponto ideal para obter o melhor desempenho com a menor quantidade de esforço computacional extra.

Resumo Técnico: Aprendendo Modelos de Características Aleatórias Expressivas via Ativações Parametrizadas

1. Declaração do Problema

Modelos de Características Aleatórias (RF - Random Feature), introduzidos como uma alternativa escalável aos métodos de kernel, aproximam funções de kernel utilizando um número finito de características aleatórias. Embora computacionalmente eficientes, os modelos RF padrão tipicamente empregam funções de ativação fixas (ex: ReLU, Sigmoid, Coseno). Essa rigidez limita sua adaptabilidade em diversas tarefas, impedindo que o modelo busque automaticamente as funções de ativação ideais para ajustar distribuições de dados específicas. Por outroônica, desenvolvimentos recentes em módulos de ativação aprendíveis, como as Redes Kolmogorov-Arnold (KANs), demonstraram eficácia, mas frequentemente enfrentam desafios de escalabilidade ou otimização. O artigo aborda a lacuna entre a eficiência dos modelos RF de características fixas e a expressividade das redes de ativação aprendíveis ao propor um framework que parametriza as funções de ativação dentro do contexto de RF.

2. Metodologia

Os autores introduzem o Modelo de Características Aleatórias com Funções de Ativação Aprendíveis (RFLAF).

Formulação do Modelo

No RFLAF, a função de ativação $\sigma$ não é fixa, mas sim parametrizada como uma soma ponderada de funções de base $\{B_i(x)\}_{i=1}^N$ dentro da estrutura de características aleatórias. O modelo é definido como:
$\hat{f}(x; a, v) := \frac{1}{M} \sum_{m=1}^M \sum_{i=1}^N a_i B_i(w_m^\top x) v_m$
onde:

$w_m \sim \mathcal{N}(0, I_d)$ são características aleatórias fixas amostradas de uma distribuição Gaussiana.
$B_i(x)$ são funções de base (ex: Funções de Base Radial, B-splines, Polinômios) com centros e larguras pré-definidos.
$a = (a_1, \dots, a_N)$ e $v = (v_1, \dots, v_M)$ são parâmetros aprendíveis.

Os autores focam em Funções de Base Radial (RBFs) como a base representativa para análise teórica, definidas como $B_i(x) = \exp\left(-\frac{(x-c_i)^2}{2h_i^2}\right)$ .

Abordagem Teórica

Análise de RBF Única: Os autores derivam a forma analítica explícita do kernel induzido por uma única ativação RBF. Eles estabelecem a expansão de Taylor deste kernel invariante à rotação e caracterizam o Espaço de Hilbert de Reprodução (RKHS) associado.
Múltiplas RBFs & Aproximação: Estendendo para múltiplas RBFs, eles utilizam o Teorema da Aproximação Universal Gaussiana. Eles provam que uma soma ponderada de RBFs pode aproximar qualquer função de ativação contínua com suporte compacto com um erro arbitrário $\epsilon$ .
Limites de Generalização: Utilizando a complexidade de Rademacher, os autores derivam limites de generalização para o processo de aprendizagem. Eles analisam a complexidade de amostragem necessária para atingir um baixo risco excessivo, mostrando que o número de características aleatórias $M$ precisa escalar com a raiz quadrada do tamanho da amostra $n$ ( $M = \Theta(\sqrt{n})$ ) para alcançar o desempenho ideal, correspondendo aos resultados mais agudos para modelos RF padrão.

3. Principais Contribuições

O artigo apresenta as seguintes contribuições específicas:

Nova Derivação de Kernel: Os autores identificam e fornecem a primeira forma analítica do kernel induzido por uma única RBF como função de ativação, estendendo resultados anteriores sobre ativações Gaussianas centradas para casos não centrados gerais.
Garantias Teóricas: Eles fornecem limites rigorosos de aproximação e generalização para o RFLAF. A teoria garante que o modelo melhora a capacidade de representação com um custo mínimo de menos de duas vezes o número de parâmetros comparado aos modelos RF padrão.
Validação Empírica: Experimentos extensos demonstram que os RFLAFs com RBFs ou B-splines superam consistentemente os modelos RF padrão com ativações fixas em várias tarefas de classificação e regressão.
Análise de Eficiência: O estudo destaca que os RFLAFs baseados em RBF são aproximadamente três vezes mais eficientes computacionalmente do que os RFLAFs baseados em B-splines, mantendo um desempenho superior ou comparável.
Extensão para Redes Neurais: Ao descongelar os parâmetros da primeira camada dos RFLAFs, os autores validam a vantagem de expressividade dos componentes de ativação aprendíveis em redes neurais de duas camadas regulares (chamadas de LANs), mostrando que elas podem superar MLPs e KANs padrão em termos de velocidade de convergência e estabilidade.

4. Resultados Experimentais

Os autores avaliaram o RFLAF em sete conjuntos de dados do mundo real (MNIST, CIFAR-10, Adult, Protein, CT, Workloads, MillionSongs) e conjuntos de dados sintéticos.

Desempenho: Os RFLAFs com RBFs e B-splines alcançaram consistentemente perdas de teste menores e acurácias mais altas comparados aos modelos RF padrão (RFMLP) com ativações fixas (ReLU, Cos, Tanh, Sigmoid).
Eficiência: Embora as B-splines tenham apresentado bom desempenho, descobriu-se que as RBFs foram 2 a 4 vezes mais rápidas nos tempos de treinamento e teste. Por exemplo, no conjunto de dados "Workloads", as RBFs melhoraram a perda de teste em ~70% comparado à melhor ativação fixa (Sigmoid) com um aumento de menos de 30% no tempo.
Sensibilidade ao Tamanho da Grade: Experimentos mostraram que um pequeno número de funções de base ( $N=16$ ou $32$) é suficiente para superar significativamente os modelos RF padrão, oferecendo um bom equilíbrio entre desempenho e custo computacional.
Recuperação de Ativação: Em tarefas sintéticas, o RFLAF recuperou com sucesso as funções de ativação reais (ground-truth) a partir dos dados, demonstrando sua capacidade de aprender não-linearidades ideais sem busca em grade (grid search).
Redes de Duas Camadas: Quando aplicado a redes de duas camadas regulares (LAN), os modelos baseados em RBF alcançaram o melhor desempenho entre LAN, MLP e KAN, convergindo mais rápido que o KAN e superando o MLP.

5. Significância e Alegações

O artigo afirma fornecer uma compreensão mais profunda dos componentes de ativação aprendíveis dentro de arquiteturas modernas de redes neurais. Ao integrar ativações aprendíveis na estrutura de características aleatórias, o trabalho une a eficiência teórica dos métodos de kernel com a adaptabilidade do aprendizado profundo.

Os autores posicionam o RFLAF como um método que:

Expande o Espaço de Funções: Expande substancialmente o espaço de funções representado em comparação com modelos RF de características fixas, sem um aumento proporcional na complexidade computacional.
Oferece Sobrecarga Mínima: Alcança ganhos significativos de desempenho com um aumento mínimo no número de parâmetros e no tempo de treinamento.
Valida Ativações Aprendíveis: Fornece evidências de que módulos de ativação aprendíveis são eficazes não apenas em arquiteturas complexas como KANs, mas também em estruturas de duas camadas mais simples e escaláveis.

O trabalho conclui que o RFLAF abre novas direções para modelos de características aleatórias, sugerindo que parametrizar ativações é uma estratégia viável e eficiente para aumentar a expressividade do modelo tanto em métodos de kernel quanto em redes neurais.