Resumo Técnico: JoyAI-VL-Interaction

Declaração do Problema

Os atuais modelos de linguagem de grande escala e modelos de visão-linguagem (VLMs) operam primariamente em um paradigma baseado em turnos: eles permanecem ociosos até serem solicitados por um usuário, reagindo apenas após o recebimento de um input específico. Esta limitação estrutural impede que eles lidem com momentos do mundo real que exigem intervenção imediata e não solicitada, como detectar um incêndio em uma transmissão de segurança, reagir a uma expressão fugaz em uma chamada de vídeo ou auxiliar um comprador navegando por telas mutáveis de um aplicativo. Embora os modelos "omni" de tempo real existentes (ex: GPT-Realtime-2, Qwen3.5-Omni) reduzam a latência, eles ainda otimizam para a alternância de turnos conversacionais em vez da proatividade baseada em eventos. Da mesma forma, produtos de videochamada de consumo (ex: Doubao, Gemini) dependem de mecanismos de consulta externa ou ciclos estritos de pergunta-resposta, o que significa que não podem perceber o "agora" ou decidir falar até que ocorra um gatilho do usuário ou um intervalo de consulta fixo. Há uma carência de sistemas que observem continuamente um fluxo visual, decidam internamente quando agir e mantenham presença ao longo de tempos ilimitados sem esperar por um prompt do usuário.

Metodologia

Os autores propõem o JoyAI-VL-Interaction, uma mudança de paradigma do diálogo baseado em turnos para a interação de streaming em tempo real. O sistema é construído sobre dois pilares centrais: um modelo de interação proativo e uma arquitetura de sistema completa e implantável.

1. O Modelo de Interação (JoyAI-VL-Interaction)

• Arquitetura: Construído sobre o modelo base JoyAI-VL 1.0 (inicializado a partir do Qwen3-8B e do ViT Qwen3-VL), o modelo é projetado para ser focado em visão (vision-first). A fala (ASR/TTS) é tratada como um módulo de I/O plugável, desacoplado do processo central de tomada de decisão.
• Espaço de Ação: A cada segundo de um fluxo de vídeo, o modelo toma uma decisão discreta e aprendida para:
  1. Permanecer Silencioso: Continuar observando (tratado como uma ação de primeira classe, não apenas a ausência de fala).
  2. Responder: Gerar uma resposta em tempo real ao usuário.
  3. Delegar: Descarregar tarefas de raciocínio complexas, lentas ou difíceis para um modelo de segundo plano assíncrono, mantendo a presença.
• Codificação de Vídeo: Para lidar com fluxos ilimitados de forma eficiente, o sistema utiliza AdaCodec. Em vez de codificar cada quadro com tokens completos de ViT, ele transmite apenas o que a predição não consegue explicar. Quadros previsíveis são codificados como P-tokens compactos (movimento + resíduos), reduzindo o consumo de tokens em aproximadamente 16x para conteúdo previsível e garantindo que o orçamento de contexto cresça lentamente ao longo do tempo.
• Estratégia de Treinamento:
  • Construção de Dados: Os autores criaram um conjunto de dados de mais de 4 milhões de clipes de streaming alinhados no tempo através de seis famílias: alerta proativo, QA alinhado no tempo (passado/presente/futuro), contagem, comentário ao vivo, chat casual e episódios de delegação.
  • Supervisão por Segundo: O modelo é treinado para prever a ação correta (silêncio, resposta, delegação) para cada segundo do vídeo. O silêncio é explicitamente rotulado como um alvo positivo para evitar que o modelo fale desnecessariamente.
  • Função de Perda (Loss Function): Uma perda de entropia cruzada ponderada é usada para lidar com o desequilíbrio de classes, onde os passos de silêncio superam vastamente os passos de resposta. Continuações de silêncio são penalizadas (down-weighted), enquanto inícios de resposta são valorizados (up-weighted).
  • Aprendizado por Reforço (RL): Um estágio de RL baseado em GRPO otimiza a política por segundo usando recompensas ao nível do stream, penalizando alarmes falsos, respostas mal cronometradas e comportamentos degenerados de "sempre responder", enquanto recompensa a cronometragem correta e a delegação eficaz.

2. A Arquitetura do Sistema

O modelo é envolvido em um sistema completo de código aberto projetado para implantação:

• Operação de Ciclo Duplo: O sistema executa dois loops simultâneos:
  • Loop de Tempo Real: Lida com a ingestão, a decisão do modelo de interação e a saída imediata de TTS/UI.
  • Loop Assíncrono: Lida com tarefas delegadas através de um Bridge de Segundo Plano (Background Bridge). Este bridge conecta-se a qualquer API, agente ou modelo externo. Ele gerencia IDs de tarefas, timeouts e a integração de resultados, permitindo que o modelo permaneça presente com o usuário enquanto uma tarefa complexa é processada em segundo plano.
• Memória de Longo Horizonte: Um sistema de memória hierárquica (Tokens brutos de curto prazo, Resumos de texto de médio prazo, Blocos comprimidos de longo prazo) permite que o sistema mantenha o contexto por horas de vídeo contínuo sem exceder as janelas de contexto. Esta memória é otimizada para reuso de prefixo no vLLM, permitendo latência inferior a um segundo mesmo com históricos longos.
• Modularidade: O sistema é projetado com o princípio "decisão no modelo, o restante substituível". Componentes como ASR, TTS, backends de memória e o cérebro de segundo plano são plugáveis, permitindo que usuários substituam módulos customizados sem reconstruir toda a pilha.

Principais Contribuições

1. Modelo JoyAI-VL-Interaction: Um modelo de interação de 8B de escala, focado em visão, que aprende a decidir quando falar, permanecer em silêncio ou delegar. É o primeiro modelo de interação orientado por visão de código aberto lançado com sua receita de treinamento e dados.
2. Receita de Treinamento Transferível: Uma metodologia de construção de dados e treinamento que gera capacidades emergentes (ex: guiar usuários através de telas mutáveis de aplicativos sem dados de treinamento específicos, improvisar palestras a partir de slides) e se transfere perfeitamente para novos domínios.
3. Sistema Completo Implantável: Um sistema full-stack que suporta horas de vídeo contínuo com latência inferior a um segundo, apresentando um bridge de segundo plano para delegação assíncrona, memória hierárquica e uma interface de visualização.
4. Lançamento Aberto: Os autores comprometem-se a lançar os pesos do modelo, dados de interação e o código completo do sistema (previsto para 20 de junho de 2026), permitindo que a comunidade reproduza e construa sobre o trabalho.

Resultados

Os autores avaliaram o JoyAI-VL-Interaction contra os assistentes de videochamada in-app do Doubao e Gemini em seis cenários de streaming do mundo real: monitoramento/alerta, contagem em tempo real, tradução em tempo real, consciência temporal, comentário ao vivo e memória de longo horizonte.

• Avaliação Humana: Em uma comparação direta com 58 casos avaliados por especialistas humanos em Qualidade e Tempo (Timing):
  • O JoyAI-VL-Interaction venceu 77,6% das comparações contra o Doubao (contra 5,2% de perda).
  • Venceu 87,9% das comparações contra o Gemini (contra 1,7% de perda).
• Desempenho por Cenário:
  • Vitórias Perfeitas: O modelo alcançou taxas de vitória de 100% em Monitoramento/Alerta contra ambos os baselines, e 100% em Contagem em Tempo Real e Tradução contra o Gemini.
  • Vantagem de Tempo (Timing): A principal vantagem do modelo foi no tempo de reação. Os baselines frequentemente falhavam em reagir até que um prompt do usuário ou um intervalo de consulta passasse, enquanto o JoyAI-VL-Interaction reagia no momento exato do evento.
  • Capacidades Emergentes: O modelo demonstrou habilidades não treinadas explicitamente, como guiar um usuário através da interface de um aplicativo de compras e manter uma cadência estrita de comentários de 4 segundos, sugerindo uma competência geral de "observar e agir".
• Limitações: Os autores reconhecem que, em termos de qualidade de chat de turno geral e robustez a inputs raros, o modelo de 8B é superado pelos modelos maiores e maduros que alimentam o Doubao e o Gemini. Alucinações ocasionais nos comentários foram atribuídas à escala compacta do modelo e aos dados esparsos de comentários.

Significância e Alegações

O artigo argumenta que a interatividade deve ser escalada como uma capacidade distinta do próprio modelo, em vez de ser simulada por gatilhos externos ou detectores de turno. A significância deste trabalho reside em:

• Mudança de Paradigma: Mover os VLMs do modo "enviar uma requisição e esperar" para um modo de colaboração "observar e agir", onde a IA está genuinamente presente no mundo físico.
• Presença Baseada em Eventos: Demonstrar que um modelo compacto pode superar sistemas baseados em turnos muito maiores em cenários de tempo crítico e baseados em eventos, simplesmente por ser capaz de decidir quando agir.
• Fundação Aberta: Ao lançar a pilha completa (modelo, receita, dados, sistema), os autores visam baixar a barreira para a comunidade explorar assistentes "sempre presentes", óculos de IA e inteligência incorporada, movendo o campo do diálogo baseado em turnos para a verdadeira interação de streaming.

Os autores concluem que, embora o lançamento atual seja um estágio inicial com espaço para escalonamento de dados e melhorias de robustez, a emergência de comportamento não solicitado e consciente do tempo valida a direção de escalar a interatividade como uma capacidade primária.