A statistical perspective on transformers for small longitudinal cohort data

1. O Problema

O modelo de dados de coorte longitudinal envolve dependências temporais complexas entre múltiplas variáveis. Embora a arquitetura Transformer tenha sido altamente bem-sucedida em processamento de linguagem natural e visão computacional, sua aplicação em dados longitudinais de coorte enfrenta dois desafios principais:

• Exigência de Grandes Volumes de Dados: Os Transformers padrão geralmente requerem grandes conjuntos de dados de treinamento para evitar overfitting e garantir boa generalização.
• Limitações em Cenários de "Pequenos Dados": Em estudos biomédicos e psicológicos, é comum ter poucos indivíduos e poucos pontos no tempo. Nessas situações, os Transformers tradicionais tendem a superajustar-se (overfit) e são frequentemente superados por modelos estatísticos mais simples.
• Falta de Interpretabilidade Estatística: A interpretação dos pesos de atenção em Transformers é desafiadora, e não existem métodos estabelecidos para testar a significância estatística de padrões contextuais em dados longitudinais.

2. Metodologia: O MiniTransformer

Os autores propõem o MiniTransformer, uma arquitetura simplificada que mantém o mecanismo central de atenção, mas reduz drasticamente o número de parâmetros a serem estimados. A abordagem parte de um modelo estatístico estabelecido (Modelo Vetorial Autorregressivo - VAR) e incorpora elementos essenciais do Transformer.

Principais Componentes Técnicos:

• Arquitetura Simplificada:
  • Sem Camada de Embedding: Diferente dos Transformers padrão, não há projeção para um espaço de alta dimensão. As observações quantitativas são usadas diretamente, adicionando apenas um termo constante para permitir deslocamentos.
  • Atenção Baseada em Kernel: Utiliza uma função de kernel para calcular a atenção entre pontos temporais. A função combina a similaridade das características (projeções query e key) com um decaimento temporal explícito.
  • Decaimento Temporal: A importância das observações passadas decai suavemente com a distância temporal $|t_i - t_l|$, parametrizada por $w_{dist}$ e um parâmetro de ajuste $\gamma$.
  • Múltiplos "Heads" (Cabeças): A arquitetura utiliza múltiplas cabeças de atenção ($H$) para capturar diferentes padrões contextuais, que são então agregados em cumulantes ($C$) antes da previsão final.
• Modelo de Previsão:
  • Os valores transformados são agregados em um vetor de cumulantes $z$.
  • A previsão final é feita através de um modelo de regressão linear simples sobre esses cumulantes.
  • A estimação de parâmetros é feita via Descida de Gradiente Estocástico (SGD) minimizando o erro quadrático médio.

Abordagem Estatística: Teste de Permutação

Para superar a falta de interpretabilidade, os autores desenvolveram um procedimento de teste de permutação:

• Objetivo: Identificar quais variáveis do contexto (observações passadas) influenciam significativamente a previsão de um valor futuro.
• Mecanismo: Compara a contribuição de uma observação futura com e sem um contexto específico.
• Estatística de Teste: Calcula a diferença na previsão ($\Delta$) ao alterar o valor de uma variável de contexto específica.
• Validação: Gera uma distribuição nula empírica através de permutações das variáveis de contexto para calcular valores-p, permitindo identificar padrões contextuais estatisticamente significativos.

3. Principais Contribuições

1. Arquitetura MiniTransformer: Uma versão otimizada para dados longitudinais com poucos indivíduos e pontos temporais, reduzindo a complexidade de parâmetros em $O(p^2H^2)$ em comparação com Transformers padrão, enquanto preserva a capacidade de capturar dependências de longo alcance.
2. Framework de Inferência Estatística: Introdução de um método de teste de permutação baseado em atenção para validar a significância de padrões contextuais, preenchendo uma lacuna na aplicação de Transformers em dados de coorte.
3. Validação em Dados Reais e Simulados: Demonstração de que a abordagem pode recuperar dependências contextuais complexas mesmo em cenários de "pequenos dados" e identificar padrões dinâmicos em estudos de resiliência psicológica.

4. Resultados

• Estudo de Simulação:

  • O MiniTransformer foi treinado em conjuntos de dados com apenas 100 a 1000 sequências.
  • Desempenho Preditivo: O modelo superou abordagens simples (média, regressão linear) e competiu com modelos "informados" (que conheciam a estrutura verdadeira dos dados), especialmente na previsão da variável alvo específica que dependia de um padrão temporal complexo.
  • Recuperação de Estrutura Latente: Os cumulantes aprendidos pelo modelo alinharam-se com a estrutura latente simulada ($z_t$), demonstrando que o modelo aprendeu o mecanismo subjacente e não apenas ajustou os dados.
  • Teste de Permutação: O método conseguiu identificar corretamente as variáveis que compunham o padrão verdadeiro, mesmo com amostras pequenas (100 sequências).

• Aplicação em Dados Reais (Estudo LORA - Resiliência Psicológica):

  • Utilizou dados de questionários sobre estressores diários (microestressores), eventos de vida (macroestressores) e saúde mental.
  • Desempenho: O MiniTransformer alcançou o menor erro quadrático médio (MSE) em comparação com médias simples, regressão e abordagem de "carregar para frente" (carry forward).
  • Descobertas Contextuais: O teste de permutação identificou que tarefas domésticas (housekeeping) e longas horas de trabalho eram contextos significativos para prever problemas de ansiedade e sono.
  • Interpretação: A análise revelou que a cessação de tarefas domésticas estava associada a um aumento na previsão de sofrimento psicológico, alinhando-se com a literatura sobre desordem ambiental e saúde mental. O modelo também capturou o viés de memória congruente com o humor (onde o estado mental atual influencia a percepção de estressores diários).

5. Significado e Conclusão

O trabalho demonstra que os Transformers não são exclusivos para grandes conjuntos de dados. Ao adotar uma perspectiva estatística e simplificar a arquitetura (MiniTransformer), é possível:

• Alcançar desempenho preditivo competitivo em conjuntos de dados longitudinais pequenos e complexos.
• Oferecer interpretabilidade através de testes estatísticos formais, permitindo que pesquisadores identifiquem quais variáveis passadas são realmente relevantes para prever o futuro.
• Aplicar essas técnicas em contextos biomédicos e clínicos onde os dados são escassos, mas as dependências temporais são críticas para a compreensão de doenças e resiliência.

Em suma, o MiniTransformer representa uma ponte entre a flexibilidade dos modelos de deep learning e a rigorosidade da inferência estatística tradicional para dados longitudinais.