Click-to-Ask: An AI Live Streaming Assistant with Offline Copywriting and Online Interactive QA

Resumo Técnico: Click-to-Ask

1. Problema

O comércio por transmissão ao vivo (Live Streaming Commerce - LSC) tornou-se uma força dominante no varejo digital, combinando vídeo em tempo real com compras instantâneas. No entanto, os streamers enfrentam dois gargalos principais que limitam a eficiência e a qualidade da transmissão:

1. Custo Temporal de Preparação: A criação de roteiros promocionais de alta qualidade e conformes às regulamentações exige muito tempo e esforço manual.
2. Dificuldade de Resposta em Tempo Real: Responder rapidamente a perguntas específicas de produtos feitas pelos espectadores (via chat ou "bullet messages") é desafiador devido à necessidade de acessar informações de produtos estruturadas e ao histórico da transmissão em tempo real.

Sistemas atuais de IA para live streaming são limitados, não conseguindo automatizar eficazmente a geração de conteúdo promocional nem fornecer respostas contextuais precisas e rápidas às perguntas dos usuários.

2. Metodologia

O sistema Click-to-Ask é um assistente de IA dividido em dois módulos integrados: um módulo offline (para preparação) e um módulo online (para interação em tempo real).

A. Módulo Offline (Geração de Copywriting)
Este módulo processa informações multimodais heterogêneas (PDFs, imagens, áudio, texto) fornecidas pelo streamer para criar roteiros promocionais. O fluxo inclui:

• Integração de Informação (IIM): Utiliza um modelo de linguagem grande (LLM) baseado em Chain-of-Thought (CoT) para extrair, integrar e filtrar dados redundantes de múltiplas fontes (incluindo OCR via MinerU e ASR para áudio). O resultado é uma base de conhecimento estruturada do produto (nome, preço, especificações, serviços).
• Geração de Copywriting (CGM): Um Modelo de Visão e Linguagem (VLM) gera roteiros persuasivos em diversos estilos (literário, profissional, geral), incorporando narrativas baseadas em cenários e gatilhos emocionais.
• Purificação de Termos Proibidos (PTPM): Um módulo de filtragem baseado em diretrizes da comunidade (ex: TikTok) remove ou modifica termos não conformes, garantindo que o texto gerado esteja pronto para transmissão sem violações.

B. Módulo Online (QA Interativo)
Este módulo permite que o streamer clique em uma pergunta do chat durante a transmissão para receber uma resposta instantânea.

• Chatbot Baseado em Clique: O sistema captura o quadro de vídeo e as coordenadas do clique. Um chatbot VLM extrai o texto da pergunta correspondente à posição clicada e gera uma resposta combinando a pergunta com os dados estruturados do produto e a memória histórica.
• Síntese de Dados de Treinamento: Para resolver a dificuldade dos modelos em associar coordenadas de clique a textos específicos, os autores criaram um conjunto de dados sintético (8k imagens, 32k pares Q&A) baseado no dataset CLEVR, simulando mensagens de chat em vídeo.
• Otimização com GRPO: O modelo é treinado usando Group Relative Policy Optimization (GRPO). Uma função de recompensa personalizada incentiva a precisão na identificação do texto clicado e na geração da resposta correta.
• Prompts Visuais: Para melhorar a alinhamento multimodal, um ícone de cursor de mouse é sobreposto ao ponto de clique durante o treinamento, ajudando o modelo a entender a relação entre coordenadas e conteúdo visual.
• Memória Histórica Baseada em Eventos (SES & KEA): Para lidar com streams longos, um módulo de segmentação de eventos divide o vídeo em unidades lógicas baseadas em similaridade semântica e fluxo óptico. Um acelerador de extração de conhecimento (KEA) seleciona prefixos ótimos de legendas históricas para acelerar a geração de respostas contextuais, tudo processado assincronamente para não impactar a latência.

3. Contribuições Principais

1. Arquitetura Híbrida Offline/Online: Um sistema completo que automatiza tanto a preparação pré-transmissão (copywriting) quanto a interação em tempo real (QA), cobrindo todo o ciclo de vida de uma venda ao vivo.
2. Método de Treinamento com GRPO e Prompts Visuais: Demonstração de que a combinação de fine-tuning com GRPO e a adição de marcadores visuais (cursor) melhora drasticamente a capacidade do modelo de localizar e responder a perguntas baseadas em coordenadas de clique.
3. Segmentação de Eventos Assíncrona: Proposta de um módulo plug-and-play (SES) que gerencia a memória de longo prazo de streams de vídeo sem sobrecarregar o sistema principal, permitindo respostas contextualizadas ao histórico da transmissão.
4. Conformidade Automatizada: Implementação de um purificador de termos que garante a aderência às regulamentações de plataformas de live streaming, um aspecto crítico muitas vezes negligenciado.

4. Resultados

O sistema foi avaliado em um conjunto de dados real de frames de transmissões do TikTok (396 pares de perguntas e respostas) cobrindo cinco categorias de produtos.

• Precisão de Reconhecimento de Perguntas (QRA): O modelo alcançou 0,913, uma melhoria significativa em relação à linha de base (0,512).
• Qualidade da Resposta (RQ): O modelo obteve uma pontuação de 0,876 (avaliada pelo GPT-4o), superando todas as outras abordagens comparadas.
• Conformidade: O módulo de purificação reduziu a média de termos proibidos no texto gerado de 4,36 para 0,36, demonstrando alta eficácia na filtragem de conteúdo.
• Ablação: A combinação de visual prompts (cursor) com o treinamento GRPO foi identificada como a configuração de melhor desempenho, superando o uso de apenas prompts textuais ou apenas prompts visuais sem ajuste fino.

5. Significado

O Click-to-Ask representa um avanço significativo na automação do comércio por transmissão ao vivo. Ao reduzir o tempo de preparação de roteiros e permitir interações rápidas e precisas com o público, o sistema aumenta a eficiência operacional dos streamers e a experiência do usuário. A abordagem proposta demonstra a viabilidade prática de agentes de IA multimodais em ambientes de alta dinâmica como o live streaming, oferecendo uma solução escalável que equilibra geração criativa, conformidade regulatória e interação em tempo real. Os resultados sugerem que a integração de técnicas de RL (GRPO) com pistas visuais é fundamental para tarefas de localização e resposta em interfaces de vídeo complexas.