Which data samples matter when training a quantum model?

Enunciado do Problema

Embora a expressividade, os landscapes de perda e a generalização de modelos de Aprendizado de Máquina Quântica (QML) tenham sido extensivamente estudados sob uma perspectiva centrada no modelo, há uma falta de compreensão em relação à compatibilidade entre modelos quânticos específicos e conjuntos de dados particulares. Pesquisas existentes frequentemente caracterizam a capacidade e a treinabilidade do modelo, mas não abordam diretamente como amostras de treinamento individuais contribuem para o processo de aprendizado ou como selecionar subconjuntos de dados de forma eficiente para maximizar o desempenho do modelo. Os autores postulam que uma abordagem centrada nos dados é necessária para determinar quais pontos de dados são mais críticos para a dinâmica de aprendizado de um modelo e para melhorar a eficiência de dados nos pipelines de treinamento de QML.

Metodologia

Os autores estendem o framework de informação V-utilizável (V-usable information), introduzido originalmente por Xu et al. para modelos clássicos, ao domínio de modelos quânticos parametrizados. Este framework quantifica a informação que uma família de modelos específica pode extrair de um conjunto de dados em relação às suas restrições computacionais e arquiteturais.

1. Estrutura Teórica:

• Informação V-utilizável ($I_V$): Definida como a redução na incerteza sobre os rótulos $Y$ quando os dados $X$ são fornecidos, alcançável apenas por uma família de modelos $V$. É calculada como $I_V(X \to Y) = H_V(Y) - H_V(Y|X)$, onde $H_V(Y)$ é a entropia preditiva com um input nulo (sem dados) e $H_V(Y|X)$ é a entropia condicional dado o dado.
• Informação V-pontual (PVI): Uma extensão que atribui um valor de informação a pontos de dados individuais $(x, y)$. A PVI pode ser negativa, indicando que uma amostra específica pode dificultar o aprendizado (ex: devido a ruído ou rotulagem incorreta) ou que o modelo a prevê melhor sem ela.
• Proxy de V-generalização ($\Delta_V$): Uma métrica definida como a diferença absoluta entre a informação V-utilizável nos dados de teste versus nos dados de treinamento, servindo como uma medida informacional do desempenho de generalização.

2. Adaptação Quântica:

• Construção do Input Nulo: Um desafio crítico no cenário quântico é definir um "input nulo" ($\emptyset$) que não forneça informação específica da tarefa, mas preserve o viés indutivo do modelo. Os autores avaliaram três candidatos: uma aproximação de estado Haar-random (N1), um estado de produto de Hadamard (N3) e um estado zero (N2). Eles determinaram que o estado de produto de Hadamard ($H^{\otimes S}|0\rangle^{\otimes S}$, rotulado como N3) oferece uma base prática de alta entropia comparável aos estados Haar-random, sem exigir qubits ancila ou simulações de matriz de densidade. O estado zero (N2), que não aplica portas ($U_{\emptyset} = I$), teve um desempenho substancialmente inferior.
• Estimativa: A informação V-utilizável é aproximada empiricamente através do treinamento de um ensemble de $K$ instanciações de modelos quânticos independentes com sementes de parâmetros aleatórias.

3. Configuração Experimental:

• Datasets:
  • Classificação de Fase: Estados fundamentais de Hamiltonianos de clusters generalizados (16 qubits) distinguindo fases topológicas protegidas por simetria, ferromagnéticas, antiferromagnéticas e triviais.
  • Adhoc: Uma tarefa de classificação 2D sintética com ambiguidade, redundância e ruído controlados.
  • NTangled: Uma tarefa específica de quantum em 8 qubits que distingue estados por valores de Entanglement Concentrado.
• Modelos: Circuitos quânticos parametrizados (PQCs) com codificações de feature-map e camadas de ansatz treináveis (ex: 10 camadas de rotações e CNOTs).
• Escala: Os experimentos foram conduzidos usando simulações de vetor de estado para sistemas menores e métodos de redes de tensores para avaliar um modelo de 50 qubits, demonstrando a tratabilidade além dos limites padrão de simulação de vetor de estado.

Principais Contribuições

1. Formulação de Informação V-utilizável para QML: Os autores fornecem uma formulação independente de arquitetura para a informação V-utilizável aplicável a circuitos de feature-map-ansatz, modelos de re-upload de dados e codificações parametrizadas integradas.
2. Estratégia de Input Nulo Quântico: Eles abordam a construção não trivial de um input nulo para modelos quânticos, validando o estado de produto de Hadamard (N3) como uma base eficaz e de baixo custo operacional.
3. Diagnósticos ao Nível de Amostra: Ao utilizar a PVI, o trabalho oferece uma visão detalhada da dinâmica de aprendizado, identificando quais amostras são memorizadas, quais apoiam a generalização e como a utilidade da amostra evolui durante o treinamento.
4. Estratégia de Seleção de Subconjuntos de Dados: Os autores introduzem uma estratégia de pré-seleção que identifica subconjuntos de dados informativos sem a necessidade de um modelo treinado. Em vez de descartar amostras de baixa PVI (o que exigiria treinamento prévio), eles propõem selecionar amostras com baixa PVI na inicialização. A hipótese é que essas amostras não são bem representadas pelo viés indutivo inicial do modelo e, portanto, fornecem um sinal de aprendizado mais forte e diverso.
5. Demonstração de Escalabilidade: O pipeline é demonstrado como tratável para modelos de 50 qubits usando métodos de redes de tensores, unindo a métrica teórica às simulações quânticas de larga escala.

Resultados

• Dinâmica de Aprendizado: Os mapas de PVI na tarefa de classificação de fase revelaram que o modelo teve dificuldade em aprender informações próximas às fronteiras de fase e na Fase IV, refletido por valores baixos de PVI. A métrica de informação V-utilizável acompanhou o progresso do treinamento de forma mais contínua do que a acurácia, que apresentou platôs e flutuações.
• Generalização: O proxy de V-generalização ($\Delta_V$) mostrou forte concordância qualitativa com a diferença entre a perda de treino e de teste, validando-o como uma medida significativa de generalização.
• Eficiência de Dados:
  • Na classificação de fase, no dataset adhoc e no NTangled, a estratégia de seleção de subconjuntos guiada por PVI superou a amostragem aleatória uniforme, amostragem de entropia, amostragem k-center e amostragem inspirada em TDA, particularmente ao selecionar subconjuntos de 10% ou mais.
  • Os subconjuntos selecionados via PVI geraram normas de gradiente iniciais maiores e dimensões efetivas mais altas, sugerindo uma melhor expressividade.
  • Prova de Conceito de 50 Qubits: Treinar um modelo de 50 qubits usando apenas 20% dos dados (selecionados via PVI) alcançou uma acurácia de teste de 0,716, comparado a 0,742 para o conjunto de dados completo. A diferença (2,6%) ficou dentro do desvio padrão das execuções do subconjunto, demonstrando que o subconjunto selecionado reteve a maior parte do desempenho do dataset completo enquanto reduzia as amostras de treinamento em 80%.

Significância e Alegações

O artigo afirma estabelecer a informação V-utilizável como uma poderosa ferramenta de diagnóstico para a dinâmica de aprendizado e uma rota prática para o aprendizado de máquina quântico eficiente em termos de dados.

• Insight Centrado nos Dados: O trabalho desloca o foco das propriedades puramente centradas no modelo para a compatibilidade entre modelos e conjuntos de dados específicos, revelando estruturas que métricas padrão (como acurácia) ou limites de generalização podem perder.
• Eficiência de Recursos: A estratégia de seleção baseada em PVI proposta permite a identificação de amostras de treinamento críticas sem o custo computacional de treinar primeiro no dataset completo, abordando diretamente a intensidade de recursos do treinamento de QML.
• Extensão Teórica: O trabalho complementa o progresso recente na teoria de generalização dependente do modelo, fornecendo diagnósticos pontuais centrados nos dados.
• Limitações: Os autores notam modestamente que a métrica não é normalizada (exigindo cuidado ao comparar entre tarefas com diferentes distribuições de rótulos) e que a escolha do input nulo permanece uma suposição de modelagem. Eles também destacam que a robustez do framework ao ruído de hardware quântico requer avaliação adicional.

Em conclusão, os autores argumentam que estudos empíricos dependentes de dados usando informação V-utilizável são essenciais para avaliar modelos de QML, uma vez que garantias teóricas nem sempre preveem o comportamento prático de modelos treinados em conjuntos de dados finitos.