Resumo Técnico: FlexLAM

Declaração do Problema

Modelos de Ação Latente (LAMs) visam preencher a lacuna entre dados de vídeo sem ação e a tomada de decisão subsequente, comprimindo transições de observação $(o_t, o_{t+1})$ em códigos latentes, que são então alinhados com ações executáveis usando um conjunto limitado de dados rotulados. Uma restrição de design central nos LAMs existentes é o gargalo de capacidade fixa: cada transição, independentemente da complexidade, é forçada através de um código latente de comprimento fixo $K$.

Os autores identificam um trade-off de gargalo fundamental inerente a este design de capacidade fixa:

1. Códigos Estritos (Baixo $K$): Embora eficientes, códigos excessivamente comprimidos podem descartar pistas de transição críticas necessárias para alinhar representações latentes com ações executáveis, particularmente quando os dados rotulados são escassos.
2. Códigos Flexíveis (Alto $K$): Embora preservem mais variação de transição, códigos excessivamente flexíveis introduzem ruído e diferenças de quadros irrelevantes. Quando os rótulos de alinhamento são escassos ou distribuídos de forma estreita (ex: de uma única tarefa), o tradutor deve lutar para distinguir sinais acionáveis de variações irrelevantes, levando a um alinhamento frágil.

As abordagens existentes tratam a capacidade como um hiperparâmetro global a ser ajustado, mas os autores argumentam que a complexidade da transição é variável, e um orçamento único e fixo não pode servir otimamente a todas as transições ou regimes de alinhamento.

Metodologia: FlexLAM

O FlexLAM aborda este trade-off substituindo o gargalo de capacidade fixa por uma interface de ação latente de comprimento variável treinada via treinamento de prefixo retido. A inovação central é agnóstica à arquitetura, modificando apenas o procedimento de treinamento do gargalo enquanto mantém o pipeline de LAM circundante (codificador, decodificador, tradutor e avaliador downstream) inalterado.

Componentes Técnicos Principais

1. Treinamento de Prefixo Retido:
   Em vez de treinar um código de comprimento fixo único $z_t = (z_{t,1}, \dots, z_{t,K})$ para cada transição, o FlexLAM amostra um comprimento de prefixo retido $k$ de uma distribuição uniforme $p(k) = \text{Unif}\{0, \dots, K\}$.

   • Os primeiros $k$ tokens são retidos como variáveis latentes aprendidas.
   • Os slots de sufixo restantes ($j > k$) são substituídos por um latente nulo compartilhado e aprendível $z_\emptyset$.
   • O decodificador é condicionado pela observação atual $o_t$ e por esta representação preenchida com nulos $\tilde{z}^{(k)}_t$ para reconstruir $o_{t+1}$.

2. Ações Latentes de Prefixo Válido:
   Este regime de treinamento garante que cada prefixo do código latente seja uma representação válida tanto para a decodificação da transição quanto para o alinhamento da ação.

   • Densidade de Informação: Os tokens iniciais são expostos a uma pressão de treinamento mais densa (retidos em mais amostras), incentivando-os a capturar estruturas de transição compactas e de alto nível.
   • Detalhe Residual: Os tokens posteriores adicionam detalhes finos apenas quando o comprimento do prefixo $k$ é grande.
   • Estabilidade de Alinhamento: Ao treinar o tradutor em visões parciais do mesmo código, o modelo aprende a alinhar ações com base na estrutura central da transição, em vez de depender da variação do sufixo, o que é crucial quando os rótulos são escassos ou estreitos.

3. Flexibilidade em Tempo de Inferência:
   Na inferência, o modelo pode operar em qualquer orçamento de tokens $k \le K$ sem retreinamento. O modelo de sequência gera apenas os primeiros $k$ tokens, e o tradutor decodifica a ação usando a representação preenchida com nulos. Isso permite trade-offs dinâmicos entre latência e desempenho dentro de um único modelo.

Contribuições Principais

1. Caracterização do Trade-off de Gargalo: O artigo identifica formalmente que interfaces de capacidade fixa criam um descompasso entre a complexidade da transição e o orçamento de representação, levando a modos de falha específicos no alinhamento de ações sob regimes de rotulagem escassos ou estreitos.
2. Treinamento de Prefixo Retido: Os autores introduzem uma estratégia de treinamento que torna cada prefixo de um código de transição uma ação latente válida. Isso permite que um único modelo abranja múltiplos orçamentos de tokens e melhora a robustez da interface latente-ação.
3. Superioridade Empírica: Através de experimentos extensos, os autores demonstram que um único modelo FlexLAM supera as linhas de base de capacidade fixa separadamente treinadas (Fixed-$K_k$) em todos os orçamentos de tokens avaliados ($k \in \{4, 16, 64\}$), provando que a melhoria provém de uma interface melhor aprendida, e não apenas do acesso a orçamentos intermediários.

Resultados Experimentais

A avaliação foca no ambiente DMLab (simulado) e Ego4D (vídeo do mundo real).

1. Eficiência de Amostragem sob Rótulos Escassos (DMLab)

• Configuração: O tradutor é treinado com rótulos extremamente escassos (0,025% do conjunto de dados).
• Resultado: O FlexLAM supera consistentemente as linhas de base de capacidade fixa $K$ treinadas separadamente em todos os orçamentos de tokens. Notavelmente, o FlexLAM@64 (avaliado na capacidade total) supera o Fixed-$K_{64}$, indicando que o treinamento de prefixo retido melhora a qualidade da própria representação, não apenas a flexibilidade da inferência.

2. Alinhamento a partir de Fontes Estreitas (DMLab)

• Configuração: O tradutor é treinado usando rótulos de uma única tarefa de baixo retorno ("Lasertag One Opponent Large"), representando uma distribuição estreita.
• Resultado: As linhas de base de capacidade fixa, particularmente as de alta capacidade, degradam-se significativamente (às vezes caindo abaixo de uma política aleatória) quando a fonte é estreita. O FlexLAM permanece robusto, evitando a "fragilidade" dos códigos de alta capacidade sob supervisão estreita.

3. Reconstrução no Mundo Real (Ego4D)

• Configuração: Reconstrução de transição em vídeos egocêntricos diversos do mundo real.
• Resultado: O FlexLAM alcança métricas de reconstrução superiores (PSNR, SSIM, LPIPS) em comparação com a referência de gargalo fixo villa-X-LAM lançada. Além disso, dentro do modelo FlexLAM, aumentar o comprimento do prefixo retido $k$ recupera progressivamente detalhes visuais mais finos, validando a estrutura de prefixo válido.

4. Transferência de Cross-Embodiment

• Resultado: Ações latentes aprendidas em uma cena/embodiment (ex: mãos humanas) transferem-se com sucesso para diferentes cenas ou embodiments (ex: garras robóticas), preservando a estrutura do movimento independentemente da identidade visual.

5. Trade-offs de Tempo de Inferência

• Latência vs. Desempenho: O FlexLAM suporta orçamentos de tokens dinâmicos. Reduzir o comprimento do prefixo $k$ de 64 para 16 reduz a latência em $3,6\times$ enquanto retém 95% do retorno downstream, oferecendo um mecanismo prático para implantação em hardware com recursos limitados.

Significância e Alegações

O artigo afirma que ações latentes de comprimento variável constituem um upgrade agnóstico à arquitetura e de aplicação direta (drop-in) para o gargalo de capacidade fixa em modelos de ação latente.

• Insight Central: A melhoria não se deve meramente à capacidade de selecionar diferentes orçamentos no tempo de inferência. Em vez disso, o próprio processo de treinamento de prefixo retido gera uma interface ação-latente melhor que é mais robusta à escassez de rótulos e mudanças de distribuição.
• Escopo: Os autores posicionam o FlexLAM como uma solução de nível de representação que melhora a interface entre vídeo e ação. Eles declaram explicitamente que não estão propondo uma nova arquitetura de política ou uma comparação direta de VLA (Visão-Linguagem-Ação), mas sim abordando o gargalo que precede o aprendizado da política.
• Limitações: As comparações downstream controladas limitam-se à família DMLab, e as comparações com o mundo real usam referências externas em vez de linhas de base controladas. Os autores reconhecem que trabalhos futuros devem conectar esses ganhos de nível de representação à transferência de política executável no mundo real e à seleção de ação sob transições visualmente ambíguas.

Em resumo, o FlexLAM resolve a tensão entre compressão e preservação de informação no aprendizado de ação latente ao treinar modelos para serem "válidos como prefixo", criando assim uma interface mais estável e adaptável para alinhar transições de vídeo com ações executáveis.