Investigating Quantum-Embedded Transformers on Classical Datasets for Cross-Modality Classification

Resumo Técnico: Investigando Transformers com Incorporação Quântica em Datasets Clássicos para Classificação de Multimodalidade

Definição do Problema
Modelos híbridos quântico-clássicos são o principal veículo para o estudo do aprendizado de máquina quântico (QML) no hardware atual, mas permanece incerto se o componente quântico (tipicamente um Circuito Quântico Parametrizado ou PQC) oferece uma vantagem genuína sobre as alternativas clássicas. Um desafio significativo no campo é a falta de comparações controladas onde o módulo quântico é isolado e substituído por um substituto clássico de dimensões de interface idênticas. Sem tais controles, os ganhos de desempenho em modelos híbridos não podem ser atribuídos definitivamente à camada quântica, mas sim ao backbone clássico, ao decodificador ou à dinâmica de treinamento. Este artigo investiga se um PQC melhora a acurácia ou a estabilidade de semente para semente quando inserido em uma arquitetura híbrida moderna, testando especificamente a hipótesza de que um PQC oferece um benefício mensurável sobre um mapeamento clássico com dimensões de entrada e saída correspondentes.

Metodologia
O autor propõe uma arquitetura chamada Atenção com Incorporação Quântica (QEA). O pipeline consiste em quatro estágios:

1. Backbone Clássico: Um codificador específico de modalidade (ex: ResNeXt-50 para imagens/áudio, MLP para dados tabulares, MiniLM para texto) extrai vetores de características.
2. Projetor Aprendível: Uma rede de duas camadas comprime as características do backbone em um vetor de ângulos $\xi$ de dimensão $n_q$, onde $n_q$ é a contagem de qubits.
3. Incorporação Quântica: Um PQC raso aplica uma unitária dependente dos dados $U(\xi; \omega)$ a um estado fundamental de $n_q$ qubits. O circuito utiliza um mapa de características (codificação de dados) seguido por um ansatz eficiente de hardware (rotações treináveis e CNOTs).
4. Leitura e Decodificador: Em vez de leitura de probabilidade total, o modelo mede as expectativas de Pauli de um e dois corpos ($Z_i$ e $Z_i Z_j$), produzindo um vetor $m$. Um decodificador de atenção clássico processa essas medições para produzir logits de classe.

Para testar a contribuição quântica, o autor emprega um design fatorial 2×2 com interface correspondente no dataset Breast Cancer Wisconsin (BCW). Este design substitui independentemente dois componentes:

• Switch A (Incorporação): Substitui o PQC por um mapa clássico de dimensões de entrada/saída idênticas ($\tanh(W\xi + b)$).
• Switch B (Decodificador): Substitui o decodificador de atenção por uma cabeça linear.

Isso cria quatro variantes de modelo: QEA (PQC + Atenção), Hybrid QNN (PQC + Linear), Classical + Attention, e Classical + Linear. O estudo utiliza cinco sementes aleatórias pareadas por célula para calcular as diferenças de desempenho dentro da mesma semente, garantindo que o projetor, a interface de leitura e o orçamento de treinamento permaneçam fixos. Adicionalmente, uma grade de multimodalidade mais ampla e não controlada avalia uma variante residual (QEA-R) através de cinco datasets (AG News, BCW, BirdCLEF, CIFAR-10, SUSY) para fornecer contexto descritivo.

Principais Contribuições

1. Especificação de Arquitetura Autossuficiente: O artigo define a QEA matematicamente, desacoplando a contagem de qubits $n_q$ da dimensionalidade bruta de entrada e especificando o mecanismo exato de leitura de Pauli e o decodificador de atenção.
2. Controle Fatorial de Interface Correspondente: Ao contrário de trabalhos anteriores que alteravam pipelines inteiros, este estudo isola a camada quântica ao substituí-la por um substituto clássico com dimensões correspondentes. Ele reporta intervalos de efeito pareados em vez de inferir equivalência a partir de intervalos marginais sobrepostos.
3. Contabilização Abrangente: O autor reporta todas as execuções canônicas planejadas, distingue os resultados atuais de leitura de Pauli dos experimentos legados de leitura de probabilidade e documenta explicitamente execuções falhas, taxas de colapso e orçamentos incompletos.

Resultados

• BCW Fatorial (Controlado): Com $n_q=4$, o modelo QEA mostrou uma melhoria de +1,63 pontos percentuais sobre o substituto clássico com um decodificador de atenção (95% CI [0,34, 2,92]). No entanto, esse efeito inverteu o sinal em $n_q=8$ (-0,70 pontos) e não sobreviveu à correção de multiplicidade entre os quatro contrastes testados. Os outros três contrastes incluíram zero em seus intervalos de confiança de 95%. Os dados não apoiam uma contribuição consistente do PQC, nem estabelecem equivalência devido ao pequeno tamanho da amostra (cinco sementes) e ao desempenho saturado da tarefa.
• Grade de Multimodalidade (Exploratória): Em AG News, BCW e BirdCLEF, a variante QEA-R alcançou acurácia comparável às baselines clássicas. No entanto, em CIFAR-10, a QEA-R falhou significativamente (40,28% de acurácia) em comparação aos modelos clássicos (~84%). Em SUSY, os modelos quânticos também subperformaram a baseline de atenção clássica.
• Estabilidade: O Hybrid QNN (PQC + Linear) exibiu uma taxa de colapso mais alta (3/21 execuções) em comparação aos modelos baseados em atenção, embora o autor note que isso provavelmente se deve a especificidades de implementação, e não a uma instabilidade intrínseca.

Significância e Alegações
O artigo afirma explicitamente que os resultados não estabelecem uma vantagem quântica. A principal significância é metodológica: o estudo demonstra que, sem controles rigorosos de interface correspondente, o desempenho em modelos híbridos não pode ser creditado à camada quântica. O resultado "positivo" observado em $n_q=4$ é tratado como um potencial falso positivo ou ruído de otimização, em vez de um efeito quântico estável.

O autor conclui que a contribuição do PQC não é replicada nos cenários testados (duas larguras, dois decodificadores, um dataset). Eles argumentam que avaliações futuras de modelos híbridos devem priorizar sementes pareadas e controles que preservem o projetor, a interface de leitura, o decodificador e o orçamento de treinamento. O artigo serve como um exemplo de cautela contra a atribuição de sucesso de modelos híbridos a componentes quânticos sem controle rigoroso de atribuição de componentes, enfatizando que a evidência atual não apoia a afirmação de que PQCs rasos melhoram a acurácia ou a estabilidade sobre mapas clássicos nestes contextos.