Resumo Técnico: OrthoReg para Sistemas Dinâmicos Híbridos Simbólico-Neurais

1. Definição do Problema

A modelagem de sistemas dinâmicos enfrenta um compromisso fundamental entre interpretabse e expressividade. Modelos mecanísticos (simbólicos) prescritos manualmente são interpretáveis, mas frequentemente mal especificados ou excessivamente simplistas para fenômenos naturais complexos. Por outro lado, métodos neurais baseados em dados e flexíveis são excelentes para ajustar dados, mas carecem de insight físico. A modelagem híbrida tenta preencher essa lacuna combinando um componente físico prescrito ou simbólico ($f_{phy}$) com um resíduo neural flexível ($f_{aug}$).

Um desafio crítico surge quando o componente simbólico não é fixo a priori, mas sim descoberto a partir dos dados via métodos baseados em bibliotecas esparsas (por exemplo, abordagens do tipo SINDy). Nesse regime, as abordagens híbridas padrão frequentemente falham em manter uma divisão clara de tarefas. Especificamente, o aumento neural pode "reaprender" ou sobrepor-se à estrutura simbólica, levando a modelos redundantes e ininterpretáveis.

O artigo identifica que os métodos existentes que dependem da regularização $L_2$ padrão (como o framework APHYNITY) baseiam-se em um argumento de projeção que assume um subespaço simbólico fixo. Quando o componente simbólico é aprendido conjuntamente com restrições de esparsidade (por exemplo, regularização $L_1$), a contração dos coeficientes deixa uma estrutura residual dentro do span da biblioteca simbólica. Consequentemente, o aumento neural pode se sobrepor à parte simbólica mesmo que a norma total seja pequena, quebrando a garantia de ortogonalidade que a regularização $L_2$ proporciona em configurações de classe fixa.

2. Metodologia: OrthoReg

Os autores propõem o OrthoReg (Regularização Ortogonal), um método projetado para impor uma decomposição complementar entre os componentes simbólico e neural durante o treinamento conjunto.

Objetivo Central

O OrthoReg modifica o objetivo de treinamento para penalizar explicitamente a sobreposição empírica entre o aumento neural e a biblioteca simbólica. Dado um conjunto de dados $D = \{x_i\}_{i=1}^N$, uma biblioteca simbólica fixa $\{\phi_j\}_{j=1}^M$ e um aumento neural $\hat{f}_{aug}(\cdot; \vartheta)$, o objetivo é:

$$\min_{w, \vartheta} \mathcal{L}_{fit}(w, \vartheta) + \mu \|w\|_1 + \lambda \sum_{j=1}^M \langle \hat{f}_{aug}(\cdot; \vartheta), \phi_j \rangle_D^2$$

Onde:

• $\mathcal{L}_{fit}$ é a perda de ajuste de dados (regressão de campo vetorial ou previsão de um passo).
• $\mu \|w\|_1$ impõe esparsidade nos coeficientes simbólicos $w$.
• O terceiro termo é a Penalidade de Ortogonalidade, onde $\langle \cdot, \cdot \rangle_D$ denota o produto interno empírico sobre os estados observados.
• $\lambda$ controla a força da restrição de ortogonalidade.

Mecanismo Teórico

Ao contrário da regularização $L_2$, que penaliza a norma total do aumento ($\|\hat{f}_{aug}\|_D^2$), o OrthoReg penaliza os produtos internos ao quadrado do aumento com cada função da biblioteca.

• Garantia Teórica: Os autores provam que, conforme $\lambda \to \infty$, as violações de ortogonalidade empírica convergem para zero.
• Decomposição de Erro: Sob o produto interno empírico, impor a ortogonalidade produz uma decomposição de erro limpa:
  $$\|f - (\hat{f}_{phy} + \hat{f}_{aug})\|_D^2 = \|P_D^{F_{phy}}(f) - \hat{f}_{phy}\|_D^2 + \|f - P_D^{F_{phy}}(f) - \hat{f}_{aug}\|_D^2$$
  Isso garante que a parte simbólica capture o que a biblioteca pode expressar (a projeção dentro da biblioteca), enquanto a parte neural captura o complemento ortogonal (o resíduo).

3. Principais Contribuições

1. Análise Teórica de Sobreposição: O artigo demonstra que a regularização $L_2$ falha em evitar a sobreposição simbólico-neural quando o componente simbólico é aprendido via descoberta esparsa (Teorema A.2). Um contraexemplo mostra que a esparsidade força o resíduo a permanecer dentro do span simbólico, permitindo que a rede neural reaprenda direções simbólicas.
2. Algoritmo OrthoReg: Os autores introduzem uma solução algorítmica que integra uma penalidade de ortogonalidade diretamente no objetivo de descoberta esparsa conjunta, garantindo que o resíduo neural permaneça ortogonal à biblioteca simbólica sob o produto interno empírico.
3. Validação Empírica: Experimentos extensos em sistemas dinâmicos de referência (Pêndulo Amortecido, Lotka-Volterra, SIR, oscilador de Duffing) mostram que o OrthoReg melhora a recuperação simbólica (maiores pontuações F1, menos termos) e a generalização fora da distribuição (OOD) em comparação com baselines puramente simbólicos, puramente neurais e híbridos com regularização $L_2$.

4. Resultados Experimentais

A avaliação foca em sistemas com desajuste parcial de biblioteca (partial library mismatch), onde a dinâmica real contém termos fora do dicionário simbólico.

• Recuperação Simbólica: O OrthoReg alcança consistentemente as maiores pontuações F1 para recuperar o suporte simbólico correto e o menor número de termos, indicando um modelo mais limpo e interpretável. Por exemplo, no Pêndulo Amortecido, o OrthoReg alcançou um F1 de $0.93 \pm 0.15$ comparado a $0.61$ para o baseline de $L_2$.
• Generalização Fora da Distribuição (OOD): O OrthoReg reduz significativamente os erros de derivada OOD, particularmente em regimes de desajuste moderado de biblioteca. No Pêndulo Amortecido, o erro de derivada OOD caiu mais de duas ordens de magnitude em relação ao baseline de $L_2$.
• Compromissos (Trade-offs): O método aceita um leve aumento no MSE do estado dentro da distribuição (ID) em troca de melhor comportamento OOD e separação simbólica. Isso é consistente com a visão teórica de que impor uma divisão ortogonal estrita sacrifica parte do ajuste bruto para preservar a integridade estrutural.
• Robustez: Os benefícios persistem sob amostragem irregular, mas diminuem sob ruído de observação pesado ou quando as dinâmicas ausentes estão fortemente emaranhadas com as características da biblioteca.

5. Significância e Alegações

O artigo afirma que o OrthoReg aborda uma fragilidade específica na modelagem híbrida: a perda de interpretabilidade quando o componente simbólico é aprendido em vez de fixo. Ao tornar a complementaridade entre os componentes simbólico e neural explícita através da regularização de ortogonalidade, o método garante que:

• O componente simbólico capture toda a dinâmica expressável pela biblioteca.
• O componente neural capture apenas os resíduos estruturados que a biblioteca não consegue expressar.

Os autores posicionam o OrthoReg não como um aumentador universal de precisão, mas como um regularizador de decomposição. Seu valor principal reside em preservar uma explicação simbólica significativa enquanto atribui efeitos não simbólicos ao resíduo, permitindo assim modelos científicos híbridos onde vocabulários mecanísticos aproximados e resíduos flexíveis coexistem sem apagar a explicação simbólica.

Limitações Reconhecidas:

• As garantias teóricas são atualmente restritas ao produto interno empírico e a modelos aditivos com bibliotecas diferenciáveis fixas.
• Garantias de nível populacional requerem argumentos de convergência uniforme sobre a classe de hipóteses de aumento, que são deixados para trabalhos futuros.
• O método não recupera leis governantes ausentes da biblioteca; ele apenas separa a dinâmica expressável pela biblioteca do restante.
• O desempenho degrada sob altos níveis de ruído, onde a estimativa de derivada se torna pouco confiável.