Resumo Técnico: Assistente Conversacional Proativo para Tarefas de Manuais Procedimentais Baseado em Áudio e IMU

Definição do Problema

Assistentes conversacionais em tempo real para tarefas manuais procedimentais (ex: montagem de móveis, culinária) normalmente dependem de entrada de vídeo para manter a consciência de contexto. No entanto, abordagens baseadas em vídeo apresentam barreiras significativas: são computacionalmente caras, muitas vezes exigindo hardware robusto para processamento no dispositivo, e comprometem a privacidade do usuário quando os dados são enviados para a nuvem. Além disso, os assistentes vestíveis existentes frequentemente oferecem apenas assistência reativa (respondendo perguntas) em vez de orientação proativa (narrando etapas e intervindo). Embora existam alguns sistemas proativos, eles frequentemente dependem de Dispositivos Montados na Cabeça (HMDs) para vídeo egocêntrico, o que sofre com baixa adoção devido ao desconforto do usuário. Há uma necessidade de um assistente leve, que preserve a privacidade, capaz de fornecer orientação abrangente passo a passo sem depender de vídeo ou infraestrutura de nuvem.

Metodologia

Arquitetura do Sistema

O sistema proposto é um assistente conversacional proativo, totalmente no dispositivo e em tempo real. Ele utiliza apenas dados de áudio e da Unidade de Medição Inercial (IMU) de um dispositivo vestível do usuário (especificamente um smartwatch no pulso dominante) para compreender o contexto. A arquitetura do sistema (Figura 1) opera da seguinte forma:

1. Entrada: Um aplicativo Android customizado em um relógio Snapdragon W5 Gen 1 transmite áudio (32 kHz) e dados de IMU (50 Hz) para uma caixa de IA de Borda (Edge AI box).
2. Reconhecimento de Atividade: Uma rede neural processa esses sinais para reconhecer atividades específicas do usuário (ex: lixar, furar, picar, mexer).
3. Orquestração: Um orquestrador específico da tarefa rastreia as atividades reconhecidas, carimbos de tempo (timestamps) e níveis de habilidade do usuário. Ele mantém contadores para determinar a etapa atual da sequência procedimental.
4. Inferência do Modelo de Linguagem (LM): O orquestrador solicita um modelo de linguagem quando uma atividade é reconhecida, quando um comentário/pergunta do usuário é detectado ou quando um temporizador expira. O prompt inclui a descrição da tarefa, o estado do orquestrador e as cinco turnos de diálogo mais recentes.
5. Saída: O LM gera uma resposta, que é convertida em fala via Text-to-Speech (TTS) e transmitida de volta para o relógio para feedback de baixa latência.

Tarefas e Geração de Dados

O sistema foi avaliado em duas tarefas procedimentais distintas:

• Montagem de Móveis: Uma tarefa de montagem de mesa envolvendo lixar, virar, parafusar estruturas (vertical) e parafusar pés (horizontal).
• Culinária: Uma tarefa de fazer sopa envolvendo picar, ralar, aquecer, despejar e mexer em intervalos específicos.

Para treinar o agente conversacional, um gerador de conversação baseado em regras criou um conjunto de dados de conversas de múltiplos turnos de 1.000 conversas por tarefa. Este gerador simula o comportamento do usuário com base em um nível de habilidade (0–1), introduzindo erros (ex: furar cedo demais, esquecer de mexer) e perguntas do usuário. Ele também simula desafios do usuário a correções e reconhecimentos verbais.

Modelo de Reconhecimento de Atividade

O reconhecedor de atividades é uma rede neural de codificador duplo:

• Codificador de Áudio: Utiliza uma arquitetura CNN10 PANN.
• Codificador de IMU: Utiliza um modelo Attend&Discriminate com camadas de convolução, autoatenção, recorrente e atenção temporal.
• Treinamento: Os dados foram obtidos dos conjuntos de dados SAMoSA, Adaimi e BoxLift, suplementados por dados coletados pelos autores. O modelo foi treinado por 200 épocas com um tamanho de lote (batch size) de 8.

Modelo de Linguagem e Ajuste Fino (Finetuning)

Os autores experimentaram três modelos Qwen2.5 (0.5B, 1.5B e 3B parâmetros).

• Estratégia de Ajuste Fino: Os modelos foram ajustados usando Low Rank Adaptation (LoRA). Uma inovação chave é o ajuste fino de Independência de Capricho do Usuário (User Whim Agnostic - UWA). O treinamento padrão pode esperar que o usuário diga "Ok" antes do assistente falar. O UWA ajusta o modelo para prever o próximo diálogo do assistente antes que o usuário faça uma declaração trivial, preservando a natureza proativa do assistente.
• Implantação: Todos os modelos (exceto o reconhecedor de atividade) rodam como microsserviços Docker em um processador Dragonwing IQ9 usando o Qualcomm AI Engine Direct SDK.

Principais Contribuições

1. Assistente Conversacional Proativo no Dispositivo: O design de um assistente em tempo real que fornece orientação passo a passo abrangente usando apenas modalidades leves e que preservam a privacidade (áudio e IMU), eliminando a necessidade de vídeo ou processamento em nuvem.
2. Conjunto de Dados de Conversação Sintética: Um método para gerar conjuntos de dados de conversação com carimbo de tempo e múltiplos turnos onde um assistente guia um usuário, corrige erros e responde perguntas, adaptados a tarefas procedimentais específicas.
3. Ajuste Fino para Proatividade e Precisão: Uma abordagem de ajuste fino (incluindo UWA) que melhora significamente a capacidade do modelo de limitar diálogos desnecessários enquanto aumenta a precisão das respostas.

Resultados

Reconhecimento de Atividade

O reconhecedor de atividades alcançou níveis variados de precisão e recall.

• Desafios: "Parafusar" era às vezes classificado incorretamente como "lixar" ou "furar", e "refogar" era ocasionalmente detectado como "picar".
• Impacto: Esses erros podem levar a orientações incorretas, sugerindo que limiares de probabilidade específicos por classe podem ser necessários em iterações futuras.

Desempenho do Assistente Conversacional

As métricas de avaliação incluíram SentenceBERT, escores de implicação (entailment) e um framework de "LLM como juiz" (usando GPT-5).

• Pré-treinado vs. Ajustado (Finetuned): Modelos pré-treinados tiveram desempenho adequado em instruções principais e correções de erros (que estavam explicitamente no prompt), mas tiveram dificuldade em responder perguntas do usuário e frequentemente geravam mensagens verbosas, irrelevantes ou alucinadas (ex: "Vamos prosseguir...").
• Melhorias via Ajuste Fino:
  • Recall: Um aumento de 150% no recall das respostas.
  • Precisão: Um aumento de 50% na precisão, indicando uma redução significativa de diálogos desnecessários ou irrelevantes.
  • Qualidade: Uma melhoria de 55% nas classificações julgadas por LLM em comparação com seus equivalentes pré-treinados.
• Comparação com GPT-5: Embora o GPT-5 tenha passado nos limiares de correção para a maioria das mensagens, suas respostas foram qualitativamente longas e verbosas demais para uma orientação objetiva. Os pequenos modelos ajustados forneceram orientação concisa e objetiva adequada para implantação em borda (edge).

Significância e Alegações

O artigo afirma apresentar o primeiro assistente conversacional proativo que fornece orientação passo a passo abrangente para tarefas procedimentais usando apenas modalidades leves (áudio e IMU) enquanto roda totalmente na borda (edge).

Os autores enfatizam que, ao se afastar da dependência de vídeo e nuvem, o sistema aborda preocupações de privacidade e restrições computacionais, tornando-o viável para adoção generalizada em wearables confortáveis do dia a dia, como smartwatches. O estudo demonstra que, com estratégias de ajuste fino específicas (como UWA), pequenos modelos de linguagem podem efetivamente substituir modelos maiores baseados em nuvem para este domínio específico, oferecendo um equilíbrio entre orientação proativa, precisão e eficiência.

Limitações

Os autores reconhecem diversas limitações:

• Suposição de Pulso: O sistema assume que o pulso dominante é o direito (verdadeiro para ~90% da população).
• Alarmes Falsos: O reconhecedor de atividade pode gerar falsos positivos em ambientes fora da tarefa (ex: girar uma maçaneta detectada como girar um botão de fogão).
• Limites de Contexto: Comparado ao vídeo, o áudio/IMU possui consciência de contexto limitada (ex: distinguir entre picar rabanetes vs. cenouras é mais difícil).
• Segurança: O sistema carece de salvaguardas de segurança para prevenir fisicamente ferimentos ao usuário, oferecendo apenas avisos verbais.
• Generalização: Um modelo ajustado para uma tarefa não performa melhor do que um modelo pré-treinado em uma tarefa diferente; a generalização entre tarefas exige ajuste fino multitarefa.