Information-Preserving Domain Transfer with Unlabeled Data in Misspecified Simulation-Based Inference

Resumo Técnico: Transferência de Domínio Preservadora de Informação com Dados Não Rotulados em Inferência Baseada em Simulação Mal Especificada

Declaração do Problema
A inferência baseada em simulação (SBI) permite a inferência bayesiana amortizada de parâmetros a partir de dados gerados por simuladores, sem exigir avaliação explícita da verossimilhança. No entanto, a confiabilidade dos métodos de SBI neural, como a Estimativa de Posteriori Neural (NPE), degrada-se sob má especificação do modelo — situações em que observações do mundo real não são bem representadas pelo simulador utilizado para treinamento. Nesses casos, a inferência direta em dados do mundo real pode produzir posteriors enviesados ou excessivamente confiantes.

Abordagens existentes para mitigar a má especificação frequentemente dependem de dados do mundo real não rotulados para alinhar as distribuições marginais de observações simuladas e reais (por exemplo, via Discrepância de Média Máxima ou treinamento adversarial de domínio). No entanto, os autores argumentam que o alinhamento marginal por si só é insuficiente. Ele não garante a preservação da estrutura condicional que relaciona observações a variáveis de tarefa (parâmetros), potencialmente descartando informações críticas para a inferência posterior. Além disso, muitos métodos existentes exigem um pequeno conjunto de calibração de dados do mundo real com parâmetros conhecidos, o que frequentemente não está disponível.

Metodologia: SPIN
O artigo propõe o SPIN (Inferência baseada em Simulação com Transferência de Domínio Preservadora de Informação Relevante para Parâmetros), um framework projetado para NPE sob má especificação do modelo utilizando apenas observações do mundo real não rotuladas e não pareadas.

• Mecanismo Central: O SPIN aprende mapas de transporte bidirecionais entre o domínio do simulador ($X_s$) e o domínio do mundo real ($X_r$). Seja $G_{sr}: X_s \to X_r$ mapeando observações do simulador para o domínio do mundo real, e $G_{rs}: X_r \to X_s$ mapeando observações do mundo real de volta para o domínio do simulador.
• Protocolo de Inferência: No momento do teste, uma observação do mundo real $x_r$ é mapeada para o domínio do simulador via $x_{rs} = G_{rs}(x_r)$. A posteriori é então estimada usando o modelo NPE treinado no simulador: $\hat{p}(\theta | x_r) = q_\psi(\theta | x_{rs})$.
• Objetivo Preservador de Informação: A inovação chave é um objetivo de treinamento que garante que o transporte preserve informações relevantes para os parâmetros. Como rótulos de parâmetros do mundo real não estão disponíveis, o SPIN utiliza os rótulos do simulador durante o treinamento.
  1. Um par rotulado do simulador $(\theta, x_s)$ é traduzido para o domínio do mundo real ($x_{sr} = G_{sr}(x_s)$) e depois mapeado de volta para o domínio do simulador ($x_{srs} = G_{rs}(x_{sr})$).
  2. Como $x_{srs}$ origina-se de uma amostra rotulada, o parâmetro original $\theta$ é conhecido.
  3. O SPIN otimiza um limite inferior variacional da informação mútua (IM) entre o parâmetro $\theta$ e a observação transportada $x_{srs}$. Isso é alcançado minimizando o log-verossimilhança negativo do parâmetro original dada a observação transportada:
     $$\mathcal{L}_{info}(q) = \mathbb{E}_{(\theta, x_s) \sim p_s} [-\log q(\theta | G_{rs}(G_{sr}(x_s)))]$$
  4. Essa perda incentiva os mapas de transporte a reter informações sobre o parâmetro, em vez de apenas corresponder distribuições marginais.
• Procedimento de Treinamento: O framework treina conjuntamente as redes de transporte ($G_{sr}, G_{rs}$), discriminadores (para alinhamento adversarial de domínio) e o estimador de posteriori ($q_\psi$). A perda total do gerador combina tradução adversarial, consistência de ciclo, regularização de identidade e o termo de preservação de informação ($\mathcal{L}_{info}$).

Principais Contribuições

1. Transferência de Domínio Preservadora de Informação: Ao contrário de métodos anteriores de alinhamento de domínio que focam na correspondência de distribuições marginais, o SPIN restringe explicitamente a transferência de domínio para preservar a informação mútua entre o parâmetro de interesse e as observações transportadas.
2. Adaptação Não Rotulada e Não Pareada: O SPIN requer apenas rótulos do simulador para treinamento. Ele adapta a NPE usando observações do mundo real não rotuladas e não pareadas, sem necessidade de um conjunto de calibração de dados do mundo real com parâmetros conhecidos.
3. Justificativa Teórica: Os autores fornecem uma identidade populacional mostrando que, se o transporte aprendido satisfizer uma condição de transporte conjunto preservadora de parâmetros, o risco no momento do teste no mundo real equivale ao risco transportado rotulado pelo simulador minimizado por $\mathcal{L}_{info}$.

Resultados Experimentais
Os autores avaliaram o SPIN em quatro benchmarks:

• SIR: Um benchmark sintético fracamente mal especificado baseado em um modelo epidêmico com relato atrasado.
• Pêndulo: Um benchmark sintético que introduz amortecimento a um modelo de pêndulo sem atrito.
• Túnel de Vento: Um benchmark físico controlado usando um sistema de câmara de vento onde o modelo mecânico aproxima respostas reais da câmara.
• Túnel de Luz: Um benchmark físico controlado usando um sistema de imageamento óptico com modelagem simplificada de respostas de túnel de luz.

Descobertas:

• Desempenho: Em benchmarks sintéticos e físicos, o SPIN melhorou consistentemente as principais métricas de qualidade de inferência (Erro Quadrático Médio Raiz, Probabilidade Logarítmica da Posteriori e ACAUC) em comparação com a NPE padrão e baselines de alinhamento marginal (NPE-MMD, NPE-DANN).
• Impacto da Má Especificação: As melhorias do SPIN tornaram-se mais pronunciadas à medida que o grau de má especificação do modelo aumentava. Por exemplo, no benchmark Pêndulo, à medida que o coeficiente de amortecimento (força da má especificação) aumentava, o SPIN mantinha densidade posterior e acurácia superiores em comparação com as baselines.
• Ablação: A remoção do termo de preservação de informação ($\mathcal{L}_{info}$) resultou em desempenho degradado, particularmente em tarefas com maiores lacunas entre simulador e realidade. Isso confirma que os ganhos são impulsionados pela preservação de informações relevantes para o parâmetro, e não apenas pelo alinhamento de domínio.
• Eficiência de Dados: O desempenho do SPIN depende da quantidade de dados do mundo real não rotulados ($N_r$), com conjuntos de dados maiores fornecendo aprendizado de transporte mais estável, embora ganhos tenham sido observados mesmo com tamanhos de dados moderados.

Significado e Alegações
O artigo afirma que, para SBI mal especificada, reduzir a discrepância marginal entre dados simulados e reais é necessário, mas insuficiente. Os autores argumentam que o transporte de domínio deve preservar explicitamente a informação relevante para o parâmetro de interesse. O SPIN demonstra que, ao aproveitar rótulos do simulador para impor preservação de informação durante o transporte de dados do mundo real não rotulados, é possível alcançar inferência posterior mais robusta e precisa. O método é particularmente eficaz quando a lacuna entre o simulador e a realidade é significativa, oferecendo uma solução prática para cenários onde rótulos de parâmetros do mundo real não estão disponíveis.