Resumo Técnico: Tempora – Caracterizando a Utilidade Contingente ao Tempo da Adaptação de Teste Online

1. Definição do Problema

Modelos de aprendizado de máquina implantados em sistemas do mundo real não estacionários frequentemente sofrem degradação de desempenho quando a distribuição de teste diverge da distribuição de treinamento (desvio de covariável/covariate shift). A Adaptação de Tempo de Teste (TTA - Test-Time Adaptation) aborda isso permitindo que os modelos se adaptem usando apenas dados não rotulados recebidos e parâmetros pré-treinados, sem a necessidade de dados ou rótulos de origem.

No entanto, as avaliações convencionais de métodos de TTA sofrem de uma falha crítica: elas assumem um tempo de processamento ilimitado. Benchmarks padrão reportam melhorias agregadas de acurácia enquanto ignoram o overhead computacional introduzido pelos mecanismos de adaptação (ex: atualizações de gradiente, otimização iterativa). Em implantações sensíveis à latência (ex: direção autônoma, fotografia em dispositivos móveis, suporte à decisão clínica), uma previsão correta que chega após o usuário ter fechado um aplicativo ou um robô ter cometido uma ação é fútil. O paradigma de avaliação atual falha em considerar o trade-off entre acurácia e latência, levando à seleção de métodos que podem ser computacionalmente "insolventes" sob restrições temporais do mundo real.

2. Metodologia: O Framework Tempora

Os autores introduzem o Tempora, um framework projetado para avaliar TTA sob pressão temporal. Ele operacionaliza o trade-off entre acurácia e latência através de três cenários temporais distintos, cada um com um protocolo de avaliação específico e uma métrica de utilidade contingente ao tempo correspondente.

2.1 Cenários Temporais e Métricas

O framework define a utilidade $U$ como um mapeamento funcional da trajetória conjunta de previsões e latência para um valor escalar, condicionado ao contexto de implantação:

1. Utilidade Discreta (Liderada pelo Ambiente):

   • Cenário: Fluxos assíncronos com prazos rígidos (ex: redes de sensores). Lotes (batches) chegam em intervalos fixos $\gamma$. Se o pipeline estiver ocupado, os lotes são pulados.
   • Métrica: $U_{discrete} = \alpha \cdot \bar{a}_{served}$, onde $\alpha$ é a disponibilidade (fração de lotes servidos) e $\bar{a}_{served}$ é a acurácia nos lotes servidos.
   • Protocolo: Utiliza um pipeline de modelo único com um buffer de tamanho de lote. Diferente de trabalhos anteriores que usam modelos de fallback para garantir disponibilidade, este protocolo expõe o custo dos lotes perdidos.

2. Utilidade Contínua (Liderada pelo Usuário):

   • Cenário: Configurações interativas onde o valor decai com a latência (ex: marcação de fotos em dispositivos). O fluxo sincroniza com a emissão da previsão; nenhum lote é pulado, mas atrasos degradam a experiência do usuário.
   • Métrica: $U_{continuous} = \bar{a} \cdot \bar{\kappa} + \text{Cov}(a, \kappa)$, onde $\bar{\kappa}$ é um fator de responsividade derivado de um decaimento hiperbólico. A latência $d_i$ incorre em uma penalidade $\kappa_i = (1 + d_i/(T-\lambda))^{-1}$, onde $T$ é um limiar de interação humano-computador (HCI).
   • Protocolo: Penaliza previsões tardias de forma não linear, refletindo que um atraso de 100ms é perceptualmente mais severo do que um atraso de 1s em relação a uma linha de base.

3. Utilidade Amortizada (Liderada pelo Recurso):

   • Cenário: Implantações com orçamento restrito (ex: drones movidos a bateria). O overhead total de adaptação é limitado, mas a latência por previsão é agnóstica.
   • Métrica: $U_{amortised} = \beta \cdot \bar{a}_{adapt} + (1-\beta) \cdot \bar{a}_{frozen}$, onde $\beta$ é a fração do fluxo processada com adaptação antes que o orçamento $B$ seja esgotado.
   • Protocolo: O modelo se adapta até que o orçamento cumulativo de overhead seja consumido, então congela pelo restante do tempo. Isso revela se a adaptação gera melhorias duráveis ou causa um desvio que prejudica o desempenho pós-congelamento.

2.2 Configuração Experimental

• Métodos: Sete métodos de TTA Total foram avaliados: AdaBN, LAME, NEO (sem gradiente) e Tent, ETA, SHOT-IM, SAR (baseados em gradiente).
• Dataset: ImageNet-C (15 tipos de corrupção, nível de severidade 5) com um backbone ResNet-50.
• Baseline: Inferência padrão (não adaptativa).
• Avaliação: 240 avaliações temporais por método através de 16 cenários (5 utilizações discretas, 5 limiares contínuos, 6 orçamentos amortizados) e 15 tipos de corrupção.

3. Principais Descobertas

3.1 Instabilidade de Ranking

A descoberta mais significativa é a instabilidade de ranking: o método considerado ideal sob avaliação offline (sem restrições) frequentemente apresenta desempenho inferior sob pressão temporal.

• ETA, o método estado da arte em configurações convencionais (classificado em 1º lugar offline), perde em 41,2% das avaliações temporais.
• Sob pressão estrita (ex: $\rho=100\%$, $T=50$ms), a taxa de vitória do ETA cai para 0–7%.
• O "melhor" método varia significativamente dependendo do tipo de corrupção e da restrição temporal específica. Nenhum método único domina todos os cenários.

3.2 Trade-offs Específicos de Corrupção

A instabilidade de ranking é modulada pelo tipo de corrupção. Por exemplo, sob avaliação contínua com uma janela de 50ms, a correlação de Spearman entre os rankings offline e temporais varia de $r_s = -0,74$ (brilho) a $r_s = 0,21$ (ruído Gaussiano).

• Mecanismo: Diferentes corrupções perturbam as características de formas distintas (ex: o brilho desloca os pixels uniformemente enquanto o ruído Gaussiano os perturba de forma independente), mas os métodos atuais alocam computação de forma uniforme. Os rankings offline induzem ao erro na seleção de métodos quando o tipo de corrupção não se alinha com o perfil de overhead do método.

3.3 Trade-offs Específicos de Pressão

A instabilidade de ranking aumenta com a pressão temporal.

• Avaliação Amortizada: Em orçamentos apertados ($B=1$s), o SHOT-IM domina devido à sua robustez após o congelamento. Em orçamentos relaxados ($B=32$s), o ETA domina.
• Decomposição de Falha: O artigo identifica três modos de falha decorrentes de overhead injustificado:
  1. Colapso de Disponibilidade: Em configurações discretas, métodos de alto overhead (ex: Tent, SAR) perdem muitos lotes, limitando sua utilidade independentemente da alta acurácia servida.
  2. Erosão de Acurácia: Em configurações contínuas, a latência alta desconta a acurácia de forma tão severa que mesmo métodos de alto desempenho geram baixa utilidade.
  3. Overhead Improdutivo: Em configurações amortizadas, métodos como Tent, ETA e SAR esgotam seu orçamento rapidamente, mas falham em produzir representações estáveis, resultando em acurácia congelada próxima a 0,1% (pior que a inferência padrão).

4. Significância e Contribuições

O artigo afirma que o Tempora fornece a primeira lente sistemática para avaliar TTA através de diversos limites temporais, revelando que:

1. Rankings offline são insuficientes: Praticantes não podem selecionar métodos de TTA baseando-se apenas na acurácia offline; o "melhor" método é contingente ao orçamento de tempo e ao tipo de corrupção da implantação.
2. Alvos de design para adaptação implantável: Para serem viáveis, os métodos futuros devem possuir:
   • Alocação condicionada à corrupção: Adaptar a alocação de computação com base na dificuldade do desvio específico.
   • Escalonamento consciente do tempo: Limitar atrasos de resposta para cumprir prazos.
   • Desempenho "anytime": Garantir que o overhead transcorrido gere ganhos sobre a inferência padrão, independentemente de quando a adaptação parar.

O framework não propõe novos algoritmos adaptativos, mas sim um protocolo de avaliação mais realista que expõe a "insolvência computacional" dos métodos atuais de estado da arte em cenários do mundo real. Ao mudar o foco de "qual método é mais acurado?" para "qual método entrega uma acurácia aceitável a um custo viável?", o Tempora visa guiar o desenvolvimento de sistemas de adaptação verdadeiramente implantáveis e contingentes ao tempo.