Resumo Técnico: SERUM – Extração e Refinamento de Estados para Modelagem de Usuário

Declaração do Problema

Assistentes de IA proativos e personalizados requerem modelos estruturados de intenção e fluxo de trabalho do usuário. No entanto, construir esses modelos a partir de vídeos egocêntricos brutos e não estruturados continua sendo um desafio significativo. As abordagens existentes enfrentam duas limitações primárias:

1. Dependência de Taxonomias Predefinidas: Métodos tradicionais de reconhecimento de atividade (ex: em EPIC-KITCHENS ou Ego4D) dependem de taxonomias fixas e manuais, falhando ao lidar com vídeos abertos e não estruturados.
2. Limitações da Anotação de Passagem Única: Embora os Modelos de Linguagem-Visão (VLMs) possam anotar quadros de vídeo, a inferência de passagem única sofre de alucinação e conflação temporal. Sem o contexto circundante, os VLMs frequentemente colapsam atividades semanticamente distintas em rótulos genéricos ou falham em inferir a intenção subjacente de uma ação, uma vez que o significado de um quadro específico muitas vezes só se torna claro retrospectivamente.

A mineração de processos oferece modelos comportamentais estruturados, mas assume a existência de logs de eventos limpos com tipos de eventos conhecidos, o que não se aplica a vídeos brutos.

Metodologia: O Framework SERUM

O SERUM (State Extraction and Refinement for User Modeling) é um framework de múltiplas passagens projetado para extrair modelos comportamentais interpretáveis e estruturados diretamente de vídeos de tela egocêntricos não estruturados, sem anotação manual ou ontologias predefinidas.

Arquitetura Central

O framework opera em dois níveis complementares:

• Ações ($a_t$): Comportamentos de nível médio, observáveis (ex: "puxando um repositório git").
• Intenções ($i_t$): Estados latentes direcionados a objetivos, inferidos a partir de sequências de ações (ex: "configurando um ambiente de desenvolvimento").

O sistema utiliza um pipeline alternado de múltiplas passagens usando o modelo Qwen3-VL-8B-Instruct:

1. Passagens Alternadas: O sistema executa passagens ímpares para anotar ações e passagens pares para inferir intenções.
2. Fundamentação Contextual:
   • Contexto Temporal: Uma janela deslizante de $w=20$ quadros vizinhos é codificada como uma Codificação de Comprimento de Execução (RLE) para fornecer um contexto local denso sem exceder os limites de tokens.
   • Resumo Inter-Passagem: Um resumo em linguagem natural de todo o vídeo (gerado via map-reduce para vídeos longos) propaga o contexto narrativo global para frente, atuando como uma memória episódica comprimida.
3. Refinamento Iterativo: Cada passagem condiciona sua saída aos rótulos gerados na passagem anterior. Este loop de feedback permite que o modelo revise julgamentos anteriores conforme o contexto se acumula, conduzindo o sistema em direção a um vocabulário autossistente.

Normalização de Rótulos

Para abordar o problema de "vocabulário aberto", onde a anotação de texto livre produz sinônimos superficiais (ex: "enxaguando produtos" vs. "limpando vegetais"), o SERUM emprega uma etapa de normalização de rótulos:

• Fusão Semântica: A similaridade de cosseno pareada é computada usando embeddings do Sentence-BERT.
• Limiarização: Um limiar calibrado por humanos ($t^*=0.43$) funde rótulos sinônimos. Esta etapa reduz o tamanho do vocabulário em aproximadamente 46% em média e é tratada como um componente central do design, não como um ajuste post-hoc.

Saída: Modelos de Usuário

O resultado final consiste em dois Modelos de Markov de Primeira Ordem (Modelos de Usuário):

• Um modelo sobre os estados de ação canonicalizados.
• Um modelo sobre os estados de intenção canonicalizados.
  Estes modelos são grafos direcionados ponderados onde as arestas representam probabilidades de transição, capturando a estrutura probabilística do comportamento do usuário para suportar a previsão do próximo estado.

Contribuições Principais e Resultados

Os autores avaliaram o SERUM em 61 vídeos egocêntricos em quatro domínios: codificação, culinária, atividades físicas e vida cotidiana (totalizando 11.125 quadros).

1. Equilíbrio Esquemático (RQ1)

O processo de anotação iterativa converge para um vocabulário de estado estável.

• Convergência: O tamanho do vocabulário bruto estabiliza-se na Passagem 8, um fenômeno que os autores chamam de equilíbrio esquemático.
• Impacto da Normalização: A normalização de rótulos comprime ainda mais o vocabulário para um tamanho estável de ~10 estados, reduzindo significativamente a esparsidade nas matrizes de transição.

2. Desempenho Preditivo (RQ2)

Os modelos de Markov resultantes foram avaliados na previsão do próximo estado (treinando nos primeiros 60% dos quadros, testando nos 40% restantes).

• Superioridade sobre Baselines: Os modelos de Markov normalizados superam significativamente os baselines baseados em frequência (Maioria, Aleatório Ponderado, Uniforme) tanto em acurácia Top-1 quanto em Perplexidade.
  • Predição de Ação: O Markov Normalizado alcançou 48,5% de acurácia Top-1 contra 37,6% do baseline de Maioria.
  • Predição de Intenção: O Markov Normalizado alcançou 58,2% de acurácia Top-1 contra 29,9% do baseline de Maioria.
• Variância de Domínio: Os maiores ganhos foram observados em tarefas estruturadas como codificação (76,4% de acurácia de ação normalizada), refletindo as estruturas de transição repetitivas inerentes a esses fluxos de trabalho.

3. Avaliação Humana (RQ3)

Anotadores humanos com expertise no domínio avaliaram a qualidade dos rótulos.

• Acurácia: 88,3% dos rótulos da passagem final foram classificados como precisos ($\alpha$ de Krippendorff $= 0,40$).
• Preferência: Os anotadores preferiram os rótulos da passagem final sobre os da primeira passagem 82,8% das vezes, indicando que o refinamento iterativo produz rótulos significativamente melhores.
• Intenção vs. Ação: Os rótulos de intenção foram ligeiramente mais precisos (90%) do que os de ação (86,7%), sugerindo que a inferência sensível ao contexto desambigua efetivamente os objetivos.

4. Estudos de Ablação (RQ4)

• Normalização de Rótulos: A fusão de sinônimos melhorou a acurácia Top-1 de Markov em +18,2 pontos percentuais e reduziu a perplexidade em 14,9 pontos.
• Passagens de Intenção: A remoção da inferência de intenção (pipeline apenas de atividade) causou o colapso dos rótulos de atividade em estados dominantes não informativos (ex: "digitando_no_teclado" para 92–96% dos quadros de codificação). Os anotadores preferiram o pipeline completo (atividade + intenção) 73% das vezes.
• Janela Temporal: O aumento do tamanho da janela de contexto ($w=20$) melhorou a lacuna entre o Markov e os baselines de Maioria, confirmando que o contexto temporal é crítico para a qualidade do modelo.

Significância e Alegações

O artigo afirma que o SERUM é, até onde os autores sabem, o primeiro sistema a produzir modelos de processo interpretáveis (tanto de ação quanto de intenção) diretamente de vídeos de tela egocêntricos não estruturados sem:

• Anotação manual.
• Taxonomias predefinidas.
• Logs de eventos existentes.

Os autores posicionam o SERUM como uma validação precoce para aplicações downstream de assistência agêntica proativa e personalização, oferecendo um caminho escalável para a modelagem de usuário "no mundo real". Eles reconhecem limitações, como o custo computacional do pipeline de múltiplas passagens (embora seja frontalizado), e o desafio da avaliação de divisão de metades em vídeos lineares, mas enfatizam a capacidade do sistema de autocorrigir alucinações através de contexto iterativo e consenso.

O trabalho demonstra que a anotação por VLM iterativa e sensível ao contexto pode suprimir alucinações e a conflação temporal, convergindo para uma taxonomia comportamental estável e validada por humanos que permite a modelagem preditiva de fluxos de trabalho do usuário.