Glass Chirolytics: Reciprocal Compositing and Shared Gestural Control for Face-to-Face Collaborative Visualization at a Distance

Este artigo apresenta o "Glass Chirolytics", uma abordagem que sobrepõe visualizações de dados e widgets de interface ao vídeo espelhado de um parceiro de conversa, permitindo o controle gestual bimanual simultâneo para melhorar a presença e a consciência mútua das intenções analíticas em colaborações remotas.

O essencial

Imagine que você está tentando planejar uma viagem de férias com um amigo que mora em outro país. Vocês estão no Zoom ou no Teams, mas há um problema: a tela está dividida. De um lado, o mapa de voos; do outro, o rosto do seu amigo. Quando você aponta para uma cidade no mapa, ele não vê onde você está olhando. Quando ele tenta explicar algo, você perde a expressão dele porque a câmera está focada apenas no rosto. É como tentar montar um quebra-cabeça complexo, mas cada um de vocês está olhando para uma foto diferente e não consegue ver as mãos do outro.

O artigo "Glass Chirolytics" (uma mistura de "Vidro" e "Quirologia", que é a arte de ler mãos) propõe uma solução mágica para isso.

O Conceito Principal: A "Vidro Mágico"

Pense no sistema como se existisse um vidro transparente entre você e seu amigo.

• No vidro: Aparece o mapa, os gráficos e as informações que vocês estão analisando.
• Através do vidro: Vocês veem o rosto um do outro, mas com uma diferença crucial: o vídeo do seu amigo é espelhado (como num espelho), e o vidro fica na frente dele, não atrás.

Isso cria a ilusão de que vocês estão sentados um de frente para o outro, com um painel de vidro flutuando entre eles. O mais legal? Vocês podem usar as mãos para mexer nesse vidro.

Como Funciona na Prática (A "Dança das Mãos")

Em vez de usar o mouse (que é como um controle remoto que só uma pessoa segura), o sistema entende os gestos das suas mãos no ar, captados pela webcam comum. É como se vocês estivessem dançando uma coreografia para controlar o mapa:

1. Apontar (O Dedo Mágico): Se você aponta o dedo para um aeroporto no vidro, ele brilha. É como dizer "olha aqui!".
2. Toque e Segurar (O Clique): Se você aponta e dá um "toque" rápido com o polegar, você seleciona aquele item para sempre, como se clicasse com o mouse.
3. Espalhar a Mão (A Rede): Se você abre a mão (como se fosse pegar uma bola grande), o sistema seleciona vários lugares de uma vez. Imagine que você quer ver todos os voos para a Europa; você apenas abre a mão e o sistema seleciona tudo na região.
4. Agarrar e Mover (O Panqueca): Se você fecha a mão em um punho e move, você "arrasta" o mapa inteiro, como se estivesse movendo um tapete.
5. Abrir e Fechar (O Zoom): Se você faz um punho com as duas mãos e as afasta, o mapa dá zoom in. Se as aproxima, dá zoom out.

A Grande Vantagem: "Quem faz o quê?"

No Zoom normal, geralmente uma pessoa controla o mouse e a outra apenas assiste. Isso gera confusão: "Quem está clicando agora?", "Espera, eu quero mudar isso!".

No Glass Chirolytics, como vocês veem as mãos um do outro em tempo real, a comunicação muda:

• Você vê seu amigo preparando a mão para apontar. Você sabe o que ele vai fazer antes mesmo dele fazer.
• Vocês podem trabalhar ao mesmo tempo. Enquanto você arrasta o mapa com a mão esquerda, seu amigo pode selecionar cidades com a direita.
• Não é preciso falar "agora eu vou clicar". O gesto já diz tudo.

O Que Eles Descobriram?

Os autores testaram isso com 16 pessoas (8 duplas) tentando planejar viagens. Os resultados foram surpreendentes:

• Sentimento de Presença: As pessoas sentiram que estavam realmente juntas, como se estivessem na mesma sala, e não apenas em uma chamada de vídeo.
• Menos Estresse de Tempo: Embora mexer com as mãos no ar pareça cansativo (e de fato foi um pouco mais cansativo fisicamente), as pessoas sentiram que o trabalho foi mais rápido e fluido. Elas não precisavam ficar discutindo "quem vai controlar o mouse".
• Intenção Clara: As pessoas entendiam melhor o que o outro estava pensando. "Ah, ele está apontando para a Índia, então ele quer ir para lá", em vez de ter que adivinhar.

Resumo em uma Frase

O Glass Chirolytics transforma uma chamada de vídeo chata, onde você só vê rostos e telas separadas, em uma experiência onde você e seu parceiro podem "tocar" e manipular os dados juntos, como se estivessem brincando com um holograma flutuante entre vocês, usando apenas as mãos e a webcam do computador.

É como se o computador tivesse aprendido a ler a linguagem das suas mãos para que você e seu amigo pudessem conversar sobre dados tão naturalmente quanto conversam sobre o tempo.

Resumo técnico

Resumo Técnico: Glass Chirolytics

1. Problema e Motivação

As ferramentas de videoconferência atuais (como Zoom e Microsoft Teams) para trabalho remoto e colaboração em dados baseiam-se predominantemente no compartilhamento de tela (screen sharing). Nesse modelo:

• Comunicação não verbal é ignorada: Os gestos das mãos, o contato visual e a linguagem corporal são perdidos ou obscurecidos, pois os participantes são relegados a pequenas janelas de vídeo periféricas.
• Assimetria de interação: Geralmente, apenas um "apresentador" controla a visualização, enquanto os outros são espectadores passivos.
• Falta de presença e intenção analítica: Em cenários de decisão colaborativa, tutoria ou análise de dados, a incapacidade de ver as mãos do parceiro e seus gestos de apontar (deixicos) dificulta a coordenação, a compreensão da intenção analítica e a construção de um senso de presença mútua.

O artigo propõe que a colaboração remota sobre dados complexos precisa restaurar a visibilidade das mãos e permitir que ambos os participantes interajam simultaneamente com as visualizações, simulando uma interação face-a-face.

2. Metodologia e Abordagem: Glass Chirolytics

Os autores propõem o Glass Chirolytics, uma abordagem de videoconferência aumentada que combina composição recíproca de vídeo com controle gestual compartilhado.

Principais Decisões de Design:

1. Composição Recíproca (D1): Em vez de um modelo estrito "o que você vê é o que eu vejo" (WYSIWIS) onde todos veem a mesma interface estática, o sistema sobrepõe artefatos de visualização e widgets de interface sobre o vídeo em espelho do parceiro de conversa.
   • O vídeo do parceiro é mostrado em escala de cinza para aumentar o contraste com os elementos coloridos da visualização.
   • Isso cria a metáfora de um "vidro" entre os participantes, onde ambos podem ver o outro e manipular os elementos sobrepostos simultaneamente.
2. Análise de Dados Complexos (D2): O sistema é projetado para lidar com abstrações de dados complexas (redes, mapas origem-destino, diagramas de nós e links), indo além de gráficos estatísticos simples de apresentação.
3. Vocabulário Gestual Sincronizado (D3): Utiliza gestos de duas mãos (bimanuais) no ar para interagir com os dados, permitindo que ambos os participantes contribuam com suas mãos simultaneamente.

Vocabulário Gestual (Reconhecido via Webcam Commodity e MediaPipe):

• Apontar (Point): Seleção efêmera de um elemento (destaca visualmente).
• Apontar e Toque (Point-and-tap): Seleção persistente de um elemento (análogo a um clique).
• Espalhar (Spread): Seleção grosseira de múltiplos elementos (um círculo dinâmico baseado na abertura da mão). Pode ser efêmero ou persistente se mantido por >1 segundo.
• Pinçar e Mover (Pinch-and-move): Reconfiguração da posição de elementos individuais.
• Agarrar e Mover (Grab-and-move): Pan (deslocamento) do espaço de coordenadas (fechando o punho).
• Separar ou Juntar (Separate-or-join): Zoom (afastar ou aproximar os punhos fechados).
• Combinações: O sistema suporta até quatro mãos interagindo simultaneamente (duas de cada participante), permitindo, por exemplo, que um selecione origens e o outro destinos ao mesmo tempo.

Implementação Técnica:

• Backend: Uso de Yjs (CRDT - Conflict-free Replicated Data Type) para sincronização de estado compartilhado e WebRTC para transmissão de vídeo e estado em tempo real.
• Visão Computacional: MediaPipe para detecção de landmarks das mãos e classificação de gestos (modelo treinado com HaGRID e dados próprios).
• Interface: Desenvolvida em React com visualizações geradas via D3.js (SVG).

3. Contribuições Principais

1. Novo Paradigma de Interação: Propõe o "Glass Chirolytics" como uma extensão da videoconferência para análise de dados pares, substituindo o compartilhamento de tela unilateral por uma composição recíproca de vídeo e dados.
2. Vocabulário Gestual para Análise: Define e implementa um conjunto de gestos bimanuais específicos para tarefas analíticas (seleção persistente, navegação espacial, conexão de elementos), diferenciando-se de gestos retóricos usados apenas em apresentações.
3. Protótipos de Cenários: Implementou sete interfaces demonstrando a aplicabilidade em:
   • Tomada de decisão (planejamento de viagens).
   • Análise exploratória (padrões de votação e migração).
   • Tutoria (topologias de grafos e matrizes de dispersão).
   • Entrevistas técnicas (design de sistemas e literacia de visualização).
4. Avaliação Empírica: Realizou um estudo comparativo com 16 participantes (8 pares) para validar a eficácia da abordagem.

4. Resultados do Estudo

O estudo comparou o Glass Chirolytics com uma aplicação de base (baseline) que usava compartilhamento de tela tradicional com controle de mouse compartilhado.

• Presença (TPI - Temple Presence Inventory):
  • Os participantes relataram um sentimento de presença significativamente maior no Glass Chirolytics em todas as dimensões (visibilidade mútua, contato visual, observação de expressões faciais e imersão).
  • A visibilidade das mãos e gestos do parceiro aumentou a percepção de "estar junto".
• Carga de Trabalho (NASA-TLX):
  • Demanda Temporal: Significativamente menor no Glass Chirolytics. Os participantes sentiram que o tempo foi utilizado de forma mais eficiente.
  • Demanda Física: Significativamente maior no Glass Chirolytics (devido ao uso de gestos no ar), mas considerada aceitável.
  • Não houve diferença significativa na demanda mental ou frustração.
• Observações Qualitativas:
  • Colaboração Paralela: No baseline, a interação era serial (um controlava, o outro assistia). No Glass Chirolytics, houve colaboração simultânea fluida, reduzindo a necessidade de coordenação verbal explícita ("agora é minha vez").
  • Intenção Analítica: Os participantes conseguiram antecipar as ações do parceiro ao ver seus gestos (ex: "vi para onde ele ia apontar antes de selecionar"), facilitando a orientação e a correção de erros.
  • Curva de Aprendizado: A maioria aprendeu os gestos rapidamente (2-3 minutos) e considerou a experiência mais divertida e intuitiva do que o uso de mouse/teclado para alternar modos.

5. Significado e Implicações

O trabalho demonstra que a reintegração de gestos e a visibilidade mútua das mãos em videoconferências pode transformar a colaboração remota sobre dados:

• Restauração da Comunicação Não Verbal: O sistema ativa o sistema de neurônios-espelho humanos (hMNS) de forma mais eficaz do que o compartilhamento de tela tradicional, promovendo empatia e coordenação.
• Eficiência em Análise de Dados: A capacidade de ver a intenção do parceiro antes da ação final reduz atritos, conflitos de cursor e tempo de coordenação.
• Futuro da Colaboração Remota: Sugere que ferramentas de colaboração devem evoluir de "apresentação de dados" para "análise conjunta de dados", onde a interface é um espaço compartilhado de vidro, e não apenas uma tela transmitida.

Limitações e Trabalhos Futuros:

• O sistema é otimizado para pares; grupos maiores podem exigir adaptações.
• A fadiga física de manter gestos no ar é uma consideração.
• Futuras pesquisas podem integrar entrada de voz para alternância de modos e suporte a visualizações 3D, onde a perspectiva recíproca é mais complexa.

Em suma, o Glass Chirolytics oferece uma solução técnica viável e eficaz para superar as barreiras de comunicação não verbal e interação colaborativa em ambientes de análise de dados remotos, utilizando hardware acessível (webcams comuns) e gestos intuitivos.