Dual Filter: A Transformer-like Inference Architecture for Hidden Markov Models

Resumo Técnico: Dual Filter – Uma Arquitetura de Inferência Semelhante a Transformers para Modelos Ocultos de Markov

1. Problema e Motivação

O artigo aborda o problema de previsão causal não linear em cenários onde as observações são geradas a partir de um Modelo Oculto de Markov (HMM). O objetivo é calcular a probabilidade condicional do próximo token (observação) dada uma sequência histórica de tokens:
$$P(Z_{T+1} = z \mid Z_1, Z_2, \dots, Z_T)$$

A motivação central é a arquitetura Transformer (apenas decodificador), que realiza essa tarefa de forma eficiente em grandes vocabulários. No entanto, os Transformers são frequentemente vistos como "caixas pretas" aprendidas via dados. Os autores buscam derivar, a partir de primeiros princípios, uma arquitetura teórica que resolva o mesmo problema de previsão, mas baseada em um modelo probabilístico explícito (HMM), sem depender de aprendizado de dados (focando apenas na inferência).

O desafio é generalizar o filtro de Wiener (preditor linear) para o caso não linear, mantendo a estrutura causal e a eficiência computacional observada nos Transformers.

2. Metodologia e Fundamentos Teóricos

A abordagem proposta baseia-se em uma reformulação do problema de inferência como um problema de controle ótimo.

• Modelo HMM: O sistema é modelado por um processo de estado oculto $X_t$ (cadeia de Markov em espaço finito $S$) e um processo de observação $Z_t$ (vocabulário finito $O$).

• Representação do Preditor Não Linear: Os autores propõem uma representação para a medida condicional (filtro não linear) $\pi_T$ na forma de uma soma telescópica ponderada por observações passadas:
  $$\pi_T(F) = (\text{constante}) - \sum_{t=1}^{T} U_{t-1}^T e(Z_t)$$
  Onde $e(Z_t)$ é um mapeamento dos tokens para vetores (semelhante a one-hot encoding mas com soma zero), e $U_t$ são pesos estocásticos adaptados às observações. Diferente de preditores lineares onde os pesos são determinísticos, aqui os pesos $U_t$ dependem do histórico, tornando o preditor não linear.

• Dualidade Controle-Filtragem:

  • O objetivo de Minimização do Erro Quadrático Médio (MMSE) é reformulado como um problema de controle ótimo.
  • Introduz-se uma Equação Diferencial Estocástica para Traseira (BS$\Delta$E) como restrição dinâmica.
  • É estabelecido um Princípio de Dualidade (Teorema 9) que conecta o erro de estimação (MMSE) a um funcional de custo de controle.
  • A solução ótima para o controle $U^{(opt)}$ é derivada explicitamente (Teorema 11) e depende da medida condicional atual $\pi_t$.

• O Algoritmo Dual Filter (Filtro Dual):

  • A solução do problema de controle leva a uma equação de ponto fixo no espaço de medidas de probabilidade.
  • Define-se uma transformação de camada $N^{(dfltr)}$ que mapeia uma sequência de medidas em outra sequência. A medida condicional verdadeira $\pi$ é um ponto fixo desta transformação: $\pi = N^{(dfltr)}(\pi)$.
  • Para resolver isso computacionalmente, propõem-se dois algoritmos:
    1. Algoritmo Iterativo: Aplica a transformação de camada repetidamente (semelhante às camadas de um Transformer).
    2. Algoritmo de Disparo Único (Single-shot): Calcula a solução em uma única passagem, utilizando passadas retroativas aninhadas, sendo mais eficiente computacionalmente.

3. Principais Contribuições

1. Novo Representação Teórica: Derivação de uma representação causal não linear para o preditor baseada em uma soma ponderada de observações, onde os pesos são controlados estocasticamente.
2. Teoria de Dualidade para HMMs: Estabelecimento de uma dualidade entre filtragem não linear e controle ótimo (baseada em MMSE, diferindo das dualidades baseadas em entropia/VI comuns na literatura). Isso resolve um problema aberto na teoria de controle para sistemas discretos.
3. Arquitetura Inspirada em Transformers: A definição da transformação de camada $N^{(dfltr)}$ cria uma analogia estrutural direta com os Transformers:
   • A entrada é uma sequência de medidas (análoga aos embeddings).
   • A operação de camada mapeia a sequência para uma nova sequência (análoga à atenção).
   • A saída final aproxima a probabilidade condicional.
4. Eficiência Computacional: O algoritmo proposto tem complexidade $O(d^2 T)$, onde $d$ é a dimensão do estado oculto e $T$ o horizonte de tempo. Crucialmente, a complexidade é independente do tamanho do vocabulário $m$, permitindo escalabilidade para vocabulários grandes (como em LLMs), ao contrário de métodos diretos que podem ter complexidade $O(m^3)$.

4. Resultados Numéricos

Os autores realizaram experimentos simulando parâmetros típicos de modelos de pesquisa (baseados em nanoGPT):

• Dimensão do estado $d = 384$, vocabulário $m = 65$, horizonte $T = 256$.
• Comparação com o Filtro Não Linear (Ground Truth): O algoritmo de "disparo único" convergiu para a solução exata do filtro de Bayes (algoritmo forward) em uma única iteração, validando a precisão teórica.
• Análise do Controle Ótimo: A visualização dos inputs de controle $U_t$ mostrou que, para dinâmicas com alta mistura (mixing), o controle foca nas observações recentes. Para dinâmicas determinísticas, o controle atua apenas no início para resolver a incerteza do estado.
• Comparação com Transformers Treinados (nanoGPT):
  • Em casos onde a distribuição condicional é esparsa (baixa complexidade), o Transformer treinado aproxima bem o filtro.
  • Em casos mais complexos (distribuição menos esparsa), o Transformer falhou em aprender a distribuição precisa, enquanto o Dual Filter (baseado no modelo) manteve a precisão. Isso sugere que o Dual Filter oferece um limite superior de desempenho para a inferência quando o modelo é conhecido.

5. Significado e Impacto

• Ponte entre Controle e Aprendizado de Máquina: O trabalho conecta teoricamente a teoria de controle ótimo (filtragem de Kalman estendida para não-linearidades discretas) com a arquitetura moderna de Transformers.
• Interpretabilidade: Oferece uma interpretação matemática rigorosa para a operação de "atenção" e camadas de Transformers como um transporte de medidas de probabilidade, derivado de princípios de inferência Bayesiana ótima.
• Base para Aprendizado Futuro: Embora o foco seja a inferência (não o aprendizado), a representação derivada fornece um alvo claro para futuros algoritmos de aprendizado. Em vez de aprender pesos arbitrários, o objetivo seria aprender os parâmetros do HMM ($\mu, A, C$) ou a estrutura da transformação de camada que satisfaça a equação de ponto fixo.
• Aplicações em POMDPs: A estrutura é diretamente aplicável a Processos de Decisão de Markov Parcialmente Observáveis (POMDPs), oferecendo uma nova perspectiva para políticas de controle baseadas em histórico.

Em suma, o artigo propõe o Dual Filter não como um substituto direto para Transformers treinados em grandes dados, mas como uma arquitetura de inferência fundamentada matematicamente que explica por que e como estruturas semelhantes a Transformers podem resolver problemas de previsão sequencial de forma ótima sob um modelo gerativo específico.