A Sparse Bayesian Learning Algorithm for Estimation of Interaction Kernels in Motsch-Tadmor Model

Resumo Técnico: Um Algoritmo de Aprendizado Bayesiano Esparso para a Estimativa de Kernels de Interação no Modelo de Motsch–Tadmor

Formulação do Problema
Este artigo aborda a identificação baseada em dados de kernels de interação assimétricos no modelo de Motsch–Tadmor, um arcabouço utilizado para descrever a dinâmica coletiva em sistemas de partículas interagentes (ex: formação de opinião, bandada/flocking). Diferente dos modelos simétricos onde a influência é normalizada pelo número total de agentes, o modelo de Motsch–Tadmor emprega um fator de normalização dependente do estado baseado na soma das interações para cada agente. Essa assimetria introduz desafios matemáticos significativos: as equações governantes tornam-se uma classe de equações de evolução semilineares onde o kernel de interação define um operador Laplaciano normalizado e dependente do estado.

O problema inverso central é recuperar o kernel de interação $\phi(r)$ a partir de dados de trajetórias observadas $\{x_i(t), \dot{x}_i(t)\}$. Os autores assumem que $\phi$ reside no subespaço de um conjunto finito de funções de base. Uma dificuldade primária é que o termo de normalização no denominador cria uma dependência não linear em relação ao kernel, tornando técnicas padrão de problemas inversos lineares (como a aplicação direta de SINDy) inaplicáveis. Além disso, o problema é mal posto na presença de ruído e dados limitados, e sistemas assimétricos carecem de quantidades conservadas (como o momento total) que tipicamente auxiliam na análise de sistemas simétricos.

Metodologia
A metodologia proposta consiste em três componentes principais: uma reformulação variacional, um arcabouço de aprendizado bayesiano esparso (SBL) e um novo critério de seleção de modelo.

1. Reformulação Variacional (Forma Implícita):
   Para lidar com a não linearidade introduzida pela normalização, os autores reformulam as equações diferenciais ordinárias (ODEs) governantes em uma forma implícita. Ao multiplicar a ODE pelo fator de normalização, o denominador é eliminado, resultando em um sistema linear homogêneo em relação aos coeficientes do kernel:
   $$\sum_{j=1}^N \phi(|x_j - x_i|) (\dot{x}_i - (x_i - x_j)) = 0$$
   Isso transforma o problema de identificação do kernel em um problema de identificação de subespaço: encontrar um vetor de coeficientes $c$ tal que $Ac = 0$, onde $A$ é uma matriz construída a partir de dados de trajetória e funções de base.

2. Aprendizado Bayesiano Esparso (SBL):
   Para resolver o sistema linear resultante de forma robusta, os autores empregam um arcabouço de Aprendizado Bayesiano Esparso.

   • Verossimilhança: O ruído de observação é modelado como ruído gaussiano aditivo.
   • Priors: Para impor esparsidade (assumindo que o verdadeiro kernel é representado por poucas funções de base), os autores utilizam priors hierárquicos. Eles comparam uma hiperprior plana com uma hiperprior de Laplace hierárquica (construída via distribuições Gamma sobre os parâmetros de precisão). Esta abordagem permite a determinação automática de relevância, onde funções de base irrelevantes são efetivamente podadas (seus pesos são levados a zero).
   • Inferência: O método utiliza a Verossimilhança de Tipo-II (maximização da evidência) para estimar os hiperparâmetros, fornecendo uma estimativa pontual para os coeficientes e uma matriz de covariância posterior.

3. Seleção de Modelo e Quantificação de Incerteza:
   Como a função de base específica que representa o "verdadeiro" kernel no lado esquerdo da equação reformulada é desconhecida, o algoritmo itera através de índices candidatos $k^*$. Para cada candidato, ele resolve o problema SBL e avalia um novo critério de Incerteza Total Ponderada (wTU). Este critério combina a variância de ruído estimada e o traço da covariância posterior dos coeficientes, normalizados pela magnitude da solução. O candidato que minimiza o wTU é selecionado como o modelo ideal.
   O arcabouço também fornece regiões de quantificação de incerteza para o kernel estimado com base na covariância posterior.

Principais Contribuições

• Arcabouço Variacional para Modelos Assimétricos: O artigo é o primeiro a propor um arcabouço de descoberta baseada em dados especificamente para modelos de interação assimétricos (Motsch–Tadmor), abordando o problema inverso não linear ao reformulá-lo como uma tarefa de identificação de subespaço.
• Resultados de Identificabilidade: Os autores estabelecem condições teóricas sob as quais o kernel de interação pode ser recuperado unicamente até um fator de escala. Eles mostram que a identificabilidade depende do rank da matriz de Gram esperada, que é determinada pelo suporte da distribuição empírica das distâncias pareadas nos dados.
• Algoritmo Esparso Robusto: O desenvolvimento de um algoritmo SBL que incorpora priors informativas para lidar com ruído e erro de especificação de modelo. Diferente de métodos determinísticos esparsos (ex: SINDy), esta abordagem fornece quantificação de incerteza e permanece robusta quando o verdadeiro kernel não é exatamente representável no espaço de base escolhido.
• Novo Critério de Seleção de Modelo: A introdução do critério wTU, que supera métricas padrão de erro preditivo e incerteza de estimativa na seleção da estrutura correta do modelo, particularmente sob condições de alto ruído.

Resultados
Experimentos numéricos extensos foram conduzidos em sistemas tanto de primeira ordem (dinâmica de opinião) quanto de segunda ordem (flocking de Cucker–Smale) em 1D e 2D.

• Precisão e Robustez: O método proposto recuperou com sucesso kernels de interação constantes por partes e suaves através de vários níveis de ruído (até 100% de razão ruído-sinal) e regimes de dados limitados (pequeno número de trajetórias $M$).
• Comparação com SINDy: Em cenários onde o verdadeiro kernel era exatamente representável na base, o método proposto teve desempenho comparável a uma abordagem SINDy implícita em ambientes sem ruído. No entanto, sob ruído ou quando o kernel não era exatamente representável (erro de modelo), a abordagem SINDy falhou em produzir aproximações significativas, enquanto o arcabouço Bayesiano permaneceu robusto e forneceu estimativas confiáveis com limites de incerteza.
• Predição de Trajetória: Mesmo quando o kernel estimado apresentou discrepâncias locais devido ao ruído, a integração direta do modelo aprendido produziu trajetórias que se aproximaram da verdade fundamental, demonstrando a utilidade prática dos kernels aprendidos.
• Eficiência Computacional: O algoritmo demonstrou eficiência prática, com tempos de execução escalando aproximadamente como $O(M^{3/2})$ para sistemas 1D e $O(M^{5/2})$ para sistemas 2D, melhor que o pior caso teórico devido à esparsidade das matrizes montadas.

Significância e Alegações
O artigo afirma preencher uma lacuna crítica na literatura, onde a descoberta baseada em dados tem se concentrado amplamente em modelos simétricos, deixando modelos assimétricos subexplorados devido à sua complexidade matemática. Os autores enfatizam que seu trabalho fornece uma abordagem principiada, interpretável e robusta para modelar sistemas dinâmicos assimétricos.

A significância reside em:

1. Lidando com a Não Linearidade: Converter com sucesso um problema inverso não linear em um problema de subespaço linear tratável via formulação implícita.
2. Quantificação de Incerteza: Ir além de estimativas pontuais para fornecer intervalos de confiança para as leis de interação aprendidas, o que é crucial para a modelagem científica onde os dados são ruidosos.
3. Generalização: O arcabouço é aplicável tanto a sistemas de primeira ordem (opinião) quanto de segunda ordem (flocking) e lida com casos onde a lei de interação verdadeira não é perfeitamente capturada pelas funções de base (erro de especificação de modelo).

Os autores concluem que este arcabouço oferece um caminho viável para unir a lacuna entre modelos teóricos e observações empíricas em sistemas de partículas interagentes complexos e assimétricos. Sugere-se que trabalhos futuros estendam o método para observações apenas de posição e interações variantes no tempo.