Quantum Variational Activation Functions Empower Kolmogorov-Arnold Networks

Resumo Técnico: Funções de Ativação Variacionais Quânticas Potencializam Redes Kolmogorov-Arnold

Definição do Problema
Circuitos Quânticos Variacionais (VQCs) são centrais para o Aprendizado de Máquina Quântico (QML), mas sua aplicação tem se concentrado amplamente na codificação de dados e mapeamento de características, em vez de servirem como funções de ativação aprendíveis dentro de arquiteturas neurais. Inversamente, as Redes Kolmogorov-Arnold (KANs) clássicas demonstraram o poder de funções de ativação variacionais (VAFs) aprendíveis, substituindo não linearidades fixas por funções treináveis em cada aresta para melhorar a interpretabilidade e a precisão. No entanto, as implementações atuais de KAN frequentemente dependem de B-splines ou séries de Fourier, que podem ser computacionalmente dispendiosas ou exigir contagens de parâmetros elevadas para aproximação de alta frequência. Além disso, embora os VQCs de múltiplos qubits ofereçam expressividade teórica, eles enfrentam barreiras práticas significativas na era do NISQ (Noisy Intermediate-Scale Quantum), incluindo altas taxas de erro em portas de dois qubits, problemas de platôs áridos (barren plateaus) durante o treinamento e o custo proibitivo de simulação clássica para sistemas grandes. O artigo aborda a necessidade de um framework que unifique a expressividade dos circuitos quânticos com a escalabilidade e interpretabilidade das KANs, especificamente projetado para ser viável em hardware atual e simuladores clássicos.

Metodologia
Os autores propõem um framework geral denominado Funções de Ativação Variacionais Quânticas (QVAF), onde circuitos quânticos parametrizados servem como funções de ativação aprendíveis. Para tornar este framework prático para as restrições atuais, eles introduzem uma instanciação específica de um único qubit chamada DatA Re-Uploading ActivatioN (DARUAN).

• Arquitetura DARUAN: Ao contrário dos VQCs padrão que codificam os dados uma única vez, a DARUAN utiliza uma estratégia de re-upload de dados. Ela consiste em uma sequência de $r$ blocos, onde cada bloco alterna entre uma unitária treinável $W^{(\ell)}(\theta_\ell)$ e uma operação de codificação de dados $S(w_\ell x) = e^{-i w_\ell x H}$. Crucialmente, os pesos de pré-processamento de dados $w_\ell$ são treináveis. A saída é o valor de expectativa de um observável de Pauli (tipicamente $\sigma_z$) medido em um único qubit.
• QKAN e HQKAN: Os autores inserem a DARUAN na topologia KAN para criar Redes Kolmogorov-Arnold de Inspiração Quântica (QKANs). Nas QKANs, cada ativação de aresta é um circuito DARUAN de um único qubit distinto. Para abordar as limitações de escalabilidade das KANs (onde os parâmetros escalam quadraticamente com as dimensões de entrada/saída), os autores introduzem a Hybrid QKAN (HQKAN). A HQKAN envolve um núcleo latente compacto de QKAN com camadas de compressão e expansão totalmente conectadas clássicas, permitindo que o modelo lida com entradas de alta dimensão de forma eficiente.
• Extensão de Camada: Para otimizar a estabilidade e a capacidade de treinamento, os autores empregam uma estratégia de "extensão de camada". Os modelos são primeiro treinados com um pequeno número de repetições de re-upload ($r$) e depois estendidos progressivamente para um $r$ maior, inicializando os novos parâmetros como identidade. Isso permite que o modelo aprenda estruturas de baixa frequência primeiro e refine detalhes de alta frequência sem precisar treinar do zero.
• Análise Teórica: O artigo fornece provas teóricas mostrando que, com pesos de pré-processamento treináveis, o espectro de frequência acessível de uma DARUAN de um único qubit pode crescer exponencialmente com o número de repetições $r$ (especificamente, uma escolha geométrica de pesos $w_\ell = 2^{\ell-1}$ produz uma largura de banda preenchida de $2^r - 1$). Isso oferece uma redução de parâmetros em nível de capacidade comparado às KANs baseadas em Fourier clássicas, que exigem parâmetros crescendo linearmente para alcançar a mesma largura de banda.

Principais Contribuições

1. Framework QVAF: Uma definição geral de circuitos quânticos como funções de ativação aprendíveis, unindo QML e aprendizado profundo clássico.
2. DARUAN: Uma instanciação de um único qubit da QVAF, computacionalmente eficiente, simulável classicamente e diretamente executável em hardware NISQ atual.
3. Arquiteturas QKAN e HQKAN: Novos designs de redes que integram a DARUAN em KANs, oferecendo eficiência de parâmetros, expressividade e generalização melhoradas.
4. Garantias Teóricas: Provas demonstrando que pesos de pré-processamento treináveis permitem o crescimento exponencial do suporte de frequência acessível, fornecendo uma base teórica para a eficiência de parâmetros das QKANs sobre as alternativas clássicas baseadas em Fourier.
5. Destilação de Conhecimento: Um método para transferir parâmetros aprendidos de uma QKAN treinada para uma KAN clássica (usando B-splines), permitindo que as QKANs sirvam como um mecanismo de pré-treinamento para modelos clássicos.

Resultados Experimentais
Os autores validam sua abordagem em três domínios:

• Regressão de Função: Em tarefas de regressão ruidosas usando o dataset Feynman, as QKANs superam consistentemente ou igualam as KANs clássicas e MLPs. Notavelmente, as QKANs alcançam um Erro Quadrático Médio (RMSE) comparável ou inferior com aproximadamente 24% menos parâmetros em média. Em um benchmark mais amplo de 66 expressões simbólicas, as QKANs alcançaram o menor RMSE em mais de 80% das equações enquanto usavam 30% menos parâmetros que as KANs clássicas.
• Classificação de Imagem: No MNIST, CIFER-10 e CIFER-100, as QKANs e HQKANs alcançam acurácias top-1 e top-5 competitivas. As HQKANs, em particular, demonstram uma eficiência de parâmetros superior, alcançando acurácia comparável ou melhor com significativamente menos parâmetros (ex: no CIFAR-100, a HQKAN usa ~32k parâmetros vs. ~384k para a KAN) mantendo alta acurácia.
• Modelagem Generativa: Quando integradas ao GPT-2 (como HQKANs), os modelos alcançaram menor perplexidade e convergência mais rápida em comparação com as baselines de MLP, usando apenas um terço dos parâmetros e 30% menos memória durante o treinamento.
• Validação de Hardware: Os autores realizaram validação de inferência no processador quântico IBM Aachen. Embora a regressão de alta precisão tenha mostrado sensibilidade ao ruído de shots e erros de hardware, as tarefas de classificação (CIFAR-10/100) mantiveram um desempenho robusto (dentro de 2-3% da acurácia do solver exato) mesmo com baixos números de shots (100 shots), demonstrando a viabilidade da inferência DARUAN de um único qubit em dispositivos NISQ.

Significância e Alegações
O artigo afirma que as QKANs representam uma "ponte" entre arquiteturas clássicas interpretáveis e ativações estruturadas derivadas de circuitos quânticos. A significância reside nos seguintes pontos:

• Praticidade: Ao utilizar circuitos de um único qubit, a abordagem evita o problema dos platôs áridos e os gargalos de fidelidade de portas de emaranhamento de múltiplos qubits, tornando-a imediatamente viável em simuladores clássicos e hardware quântico atual para inferência.
• Eficiência: O acoplamento estruturado de coeficientes de Fourier através de parâmetros de rotação compartilhados atua como um regularizador implícito, permitindo que as QKANs alcancem alta expressividade com menos parâmetros do que suas contrapartes clássicas.
• Escalabilidade: O design de arquitetura HQKAN e a estratégia de extensão de camada abordam os desafios de escalabilidade inerentes às KANs, permitindo a aplicação de módulos inspirados em quantum a modelos de larga escala como LLMs.
• Validação: O trabalho serve como uma "validação para o presente dia" do conceito de QVAF. Embora os autores reconheçam que QVAFs de múltiplos qubits poderiam oferecer benefícios adicionais (ex: redução de profundidade), eles enfatizam que o design atual de um único qubit é o caminho mais robusto e escalável, dado as limitações de hardware atuais. Os modelos treinados podem ser executados diretamente em hardware NISQ para inferência, fornecendo um caminho direto para vantagem quântica em tarefas específicas de inferência mesmo antes da disponibilidade de computadores quânticos tolerantes a falhas.