Hybrid quantum-classical neural network for sentiment analysis

Resumo Técnico: Rede Neural Híbrida Quântico-Clássica para Análise de Sentimento

Definição do Problema
A análise de sentimento é uma tarefa crítica no processamento de linguagem natural (PLN) para extrair informações subjetivas de textos, particularmente em domínios como monitoramento de redes sociais e gestão de crises. Embora arquiteturas de aprendizado profundo (CNNs, RNNs, Transformers) tenham alcançado resultados de estado da arte, elas frequentemente demandam recursos computacionais significativos e grandes corpora de treinamento. O Aprendizado de Máquina Quântico (QML) oferece uma alternativa potencial ao alavancar propriedades quânticas como sobreposição e emaranhamento para aumentar a expressividade e a generalização. No entanto, a aplicabilidade de redes neurais híbridas quântico-clássicas (HNNs) à análise de sentimento permanece subexplorada, e as condições específicas sob as quais os componentes quânticos fornecem benefícios tangíveis não são totalmente compreendidas.

Metodologia
O estudo investiga o desempenho de HNNs em um conjunto de dados de tweets relacionados à COVID-19, comparando-as com uma linha de base (baseline) de rede neural feedforward clássica.

• Conjunto de Dados e Pré-processamento: O conjunto de dados primário consiste em 44.957 tweets (divisões de treino e teste) rotulados manualmente como positivos, neutros ou negativos. O texto foi pré-processado (conversão para minúsculas, remoção de URLs/pontuação) e vetorizado usando Term Frequency-Inverse Document Frequency (TF-IDF), retendo os 5.000 principais recursos. O Word2Vec foi testado, mas descartado devido ao baixo desempenho em dados de tweets curtos e ruidosos.
• Baseline Clássica: Uma rede neural feedforward padrão foi construída com uma camada de entrada (5.000 dimensões), uma camada oculta (256 neurônios com ReLU e dropout) e uma camada de saída (3 neurônios com softmax).
• Arquiteturas Híbridas (HNNs): Três configurações de HNN foram desenvolvidas, diferindo no número de qubits (6, 8 e 12).
  • Codificação: Os recursos clássicos de TF-IDF foram reduzidos via um front-end clássico (camadas totalmente conectadas) e incorporados no circuito quântico usando angle embedding (codificação por ângulo), onde os recursos de entrada controlam os ângulos de rotação das portas $R_x$.
  • Processamento Quântico: A camada quântica utilizou Circuitos Quânticos Parametrizados (PQCs) implementados via o template BasicEntanglerLayers no Pennylane. Isso envolveu rotações de qubit único parametrizadas seguidas por operações de emaranhamento (portas controladas) entre os qubits.
  • Medição: Valores de expectativa de Pauli-Z foram medidos em cada qubit para produzir saídas clássicas, que foram alimentadas em uma camada linear clássica final para classificação.
  • Treinamento: Os modelos foram treinados usando um loop híbrido: parâmetros clássicos via backpropagation padrão e parâmetros quânticos via regra de deslocamento de parâmetro (parameter-shift rule). Todas as simulações quânticas foram realizadas em um ambiente clássico sem ruído.
• Transfer Learning (Aprendizado por Transferência): Para avaliar a generalização, modelos pré-treinados na tarefa de sentimento da COVID-19 foram adaptados para uma tarefa de classificação binária de spam de SMS (Ham vs. Spam). O procedimento envolveu o congelamento das camadas de extração de características pré-treinadas e o ajuste fino (fine-tuning) das camadas de saída (e das camadas quânticas para HNNs) no conjunto de dados de SMS.

Principais Resultados

• Análise de Sentimento (Conjunto de Dados COVID-19):
  • A baseline clássica alcançou a maior média de acurácia de teste (77,88%) com baixa variância.
  • A HNN de 12 qubits alcançou um desempenho comparável (77,64%) com baixa variância, enquanto os modelos de 6 e 8 qubits mostraram menor acurácia média e variância significativamente maior, sugerindo sensibilidade à inicialização e otimização.
  • Dinâmica de Aprendizado: O modelo clássico convergiu rapidamente, mas exibiu sinais de overfitting precoce (a perda de validação aumentou após a época 10). Em contraste, os modelos híbridos, particularmente a variante de 12 qubits, demonstraram um processo de aprendizado mais gradual, com a perda de validação continuando a diminuir ao longo das 30 épocas, sugerindo uma capacidade representacional mais rica.
• Transfer Learning (Conjunto de Dados de Spam de SMS):
  • Os modelos híbridos superaram consistentemente a baseline clássica na tarefa de transferência.
  • O modelo clássico alcançou 63,12% de acurácia.
  • Os modelos híbridos melhoraram esse resultado, com a HNN de 12 qubits atingindo 66,94% de acurácia.
  • A análise das matrizes de confusão revelou que o ganho de desempenho foi impulsionado principalmente pela melhor classificação da classe majoritária ("Ham"), com as taxas de verdadeiros negativos aumentando de 66% (clássico) para 81% (HNN de 12 qubits).

Significância e Alegações
O artigo postula que arquiteturas híbridas quântico-clássicas são viáveis para tarefas de PLN e oferecem vantagens distintas em contextos específicos:

1. Expressividade e Generalização: Embora a HNN de 12 qubits tenha igualado a baseline clássica na tarefa primária, seu desempenho superior no cenário de aprendizado por transferência (um aumento de 15 pontos percentuais na acurácia na classe de spam em relação ao desempenho de transferência da baseline clássica) sugere capacidades de generalização aprimoradas.
2. Dinâmica de Aprendizado: As distintas dinâmicas de treinamento observadas nos modelos híbridos, especificamente a capacidade de reduzir a perda de validação ao longo de períodos de treinamento mais longos sem o overfitting precoce visto no modelo clássico, indicam que as camadas quânticas podem capturar padrões de dados complexos nos quais os modelos clássicos saturam.
3. Potencial Futuro: Os autores concluem que, à medida que o hardware quântico avançar, os modelos híbridos poderão oferecer benefícios significativos para tarefas de alta dimensão e dados complexos. Eles sugerem que trabalhos futuros explorem ansatzes quânticos mais expressivos, otimizem padrões de emaranhamento e investiguem modelos sequenciais quânticos (ex: QLSTM, QGRU) para capturar dinâmicas temporais no texto.

O estudo mantém um tom modesto, reconhecendo limitações atuais, como instabilidade de otimização, variância em circuitos menores e a dependência de simulações sem ruído, ao mesmo tempo em que destaca o potencial das HNNs para estender as capacidades do aprendizado de máquina clássico.