DisjunctiveNet: Neural Symbolic Learning via Differentiable Convexified Optimization Layers

Resumo Técnico: DisjunctiveNet

Definição do Problema

Muitas tarefas de aprendizagem científica e de engenharia operam sob regimes de dados esparsos, onde modelos de aprendizagem profunda puramente orientados por dados frequentemente falham em generalizar ou violam restrições estruturais, físicas ou de segurança conhecidas. Embora esses domínios possuam um rico conhecimento prévio — expresso através de leis físicas, requisitos operacionais e heurísticas de especialistas — os métodos neuro-simbólicos existentes lutam para incorporar esse conhecimento de forma eficaz. As abordagens atuais geralmente dependem de penalidades suaves (que não garantem a viabilidade), assumem regras independentes da entrada ou utilizam pós-processamento não diferenciável no tempo de inferência. Além disso, estender camadas de otimização diferenciáveis para lidar com regras lógicas ou de números inteiros mistos é desafiador devido à natureza inerentemente não convexa e disjunta de tais espaços de restrição.

Metodologia

Os autores propõem o DisjunctiveNet, um framework unificado de ponta a ponta para impor restrições lineares de inteiros mistos, rígidas e dependentes da entrada, dentro de redes neurais. A metodologia central envolve três componentes principais:

1. Representação de Restrição Disjuntiva:
   O conhecimento do domínio é modelado como uma coleção de regras dependentes da entrada. Cada regra é uma implicação $I[x \in A_r] \Rightarrow I[y \in C_r(x)]$, onde o conjunto de viabilidade da saída $C_r(x)$ é representado como uma união finita de conjuntos poliédricos (uma disjunção). Os autores demonstram que essa representação é tão expressiva quanto restrições de Programação Linear de Inteiros Mistos (MILP) e Aritmética Real Linear Livre de Quantificadores (QF-LRA).

2. Convexificação Hierárquica (CNF vs. DNF):
   Para permitir a diferenciabilidade de ponta a end-to-end enquanto garante a satisfação exata das restrições, o framework transforma o conjunto viável não convexo (uma interseção de uniões de poliedros) em uma relaxação convexa.

   • Relaxação CNF: Convexifica cada regra independentemente e, em seguida, intersecta os conjuntos convexos resultantes. Isso escala linearmente com o número de regras ativas, mas fornece uma relaxação mais frouxa.
   • Relaxação DNF: Distribui as interseções sobre as uniões ao enumerar todas as possíveis interseções de disjuntos entre as regras ativas. O invólucro convexo dessas interseções é computado. Isso produz o invólucro convexo exato do conjunto não convexo original, garantindo que a solução satisfaça as restrições lógicas originais.
   • Convexificação Sequencial: Uma abordagem intermediária é introduzida, onde um subconjunto de regras é expandido para a forma DNF enquanto outras permanecem em CNF, permitindo um compromisso entre complexidade computacional e rigor da relaxação.

3. Camada de Otimização Diferenciável:
   A projeção de uma saída de rede não restrita $\hat{y}$ sobre o conjunto viável convexificado é formulada como um Programa Linear (LP) usando uma formulação de epígrafo de norma $\ell_1$. Ao elevar as variáveis para um espaço de maior dimensão (incluindo variáveis auxiliares para o epígrafo e pesos de combinação convexa), o problema de projeção não convexo é convertido em um LP tratável.

   • Exatidão: Os autores provam que, se o solver de LP retornar uma solução de ponto extremo (por exemplo, via algoritmo simplex), a projeção resultante satisfaz as restrições rígidas originais exatamente.
   • Diferenciabilidade: A camada é tornada diferenciável via diferenciação implícita das condições de Karush-Kuhn-Tucker (KKT), permitindo que os gradientes fluam de volta para os parâmetros da rede neural durante o treinamento.

Principais Contribuições

• Framework Unificado: O artigo apresenta o primeiro método capaz de impor restrições lineares de inteiros mistos, rígidas e dependentes da entrada, dentro de redes neurais durante o treinamento e a inferência.
• Garantias de Viabilidade Exata: Ao contrário de métodos anteriores que usam relaxações convexas como heurísticas, a relaxação DNF proposta corresponde ao invólucro convexo mais justo possível. Os autores provam formalmente que soluções de pontos extremos para o LP elevado satisfazem exatamente as restrições lógicas originais.
• Expressividade: O framework unifica regras lógicas (operadores booleanos sobre desigualdades lineares) e restrições baseadas em otimização (MILP) sob uma única formulação de programação disjuntiva.
• Mecanismos de Escalabilidade: A introdução da convexificação sequencial e a análise do compromisso entre relaxações CNF (escaláveis) e DNF (rigorosas) fornecem ferramentas práticas para lidar com conjuntos de regras complexos.

Resultados Experimentais

O framework foi avaliado em dois benchmarks: uma tarefa sintética de controle de resfriamento e uma tarefa de classificação de sequenciamento de RNA de célula única (scRNA-seq).

• Controle de Resfriamento Sintético:

  • Desempenho: O DisjunctiveNet (especificamente a variante DNF) alcançou satisfação perfeita de regras (CSAT = 1.0) tanto para conjuntos de teste de Distribuição Identica (IID) quanto de Distribuição Fora da Distribuição (OOD), superando significativamente os baselines sem restrições e os métodos de penalidade suave.
  • Generalização: Em regimes de escassez de dados e sob mudanças de OOD, a camada de projeção forneceu um forte viés indutivo, resultando em Erro Quadrático Médio (MSE) substancialmente menor em comparação aos baselines.
  • Eficiência: Embora a inferência exija a resolução de um LP (levando cerca de 25-29 ms por amostra), o overhead computacional foi considerado prático, e a formulação DNF não sofreu com a explosão exponencial de pior caso nos cenários testados devido ao grande número de combinações de disjuntos inviáveis.

• Classificação de scRNA-seq:

  • Satisfação de Regras: Projeções baseadas em DNF alcançaram satisfação de regras quase perfeita (CSAT > 0.9), enquanto métodos baseados em penalidades e a rede base falharam em satisfazer consistentemente as regras de genes marcadores dependentes da entrada.
  • Acurácia vs. Restrições: Em regimes de baixos dados, a imposição de regras melhorou os escores macro-F1. À medida que os dados aumentaram, a acurácia do modelo base melhorou, mas os modelos baseados em projeção mantiveram uma adesão superior às regras, destacando um compromisso entre acurácia preditiva e satisfação exata de restrições em regimes de altos dados.

Significância e Alegações

O artigo afirma que o DisjunctiveNet aborda uma lacuna crítica na aprendizagem neuro-simbólica ao permitir a imposição exata de restrições lógicas complexas e dependentes da entrada, sem depender de penalidades suaves ou correções pós-hoc. A significância reside em sua capacidade de integrar o conhecimento do domínio diretamente no processo de aprendizagem, garantindo que os modelos adiram a restrições físicas e de segurança mesmo quando os dados são limitados ou ocorrem mudanças de distribuição.

Os autores posicionam seu trabalho como um passo em direção a uma IA mais confiável em aplicações científicas e de engenharia. Eles reconhecem limitações, principalmente o custo computacional das relaxações DNF para um grande número de regras ativas e a dependência de solvers de LP que retornem pontos extremos para as garantias de exatidão. No entanto, argumentam que, para muitas aplicações do mundo real envolvendo conjuntos de regras moderados, o framework oferece uma solução principista e eficaz para o deployment de redes neurais confiáveis.