Eye-Tracking-Driven Control in Daily Task Assistance for Assistive Robotic Arms

Resumo Técnico: Controle Baseado em Rastreamento Ocular para Assistência em Tarefas Diárias com Braços Robóticos Assistivos

Definição do Problema
Os atuais sistemas de controle de braços robóticos assistivos baseados em rastreamento ocular enfrentam desafios significativos quanto à precisão da estimativa de olhar 3D e à interpretação da intenção do usuário em ambientes complexos com múltiplos objetos. As abordagens tradicionais dependem frequentemente da estimativa da posição da cabeça do usuário em relação aos objetos, tornando-as suscetíveis a desvios, deslizamento de óculos e erros de calibração. Além disso, distinguir entre múltiplas tarefas diárias e garantir a seleção robusta de objetos sem um rastreamento de olhar 3D de alta precisão continua sendo difícil. Previsões incorretas podem levar a interações frustrantes e à redução da confiança no sistema. Há uma necessidade de um framework de controle que reduza a dependência de rastreamento de cabeça de alta precisão, permitindo que indivíduos com deficiências físicas severas selecionem e executem tarefas diárias de forma independente.

Metodologia
Os autores propõem um framework de controle compartilhado que desloca a localização do objeto da perspectiva do usuário para uma câmera montada no robô (uma configuração "eye-in-hand" ou "olho na mão"). Este design elimina a necessidade de estimativa 3D da posição do usuário, mitigando assim os erros causados pelo movimento da cabeça.

• Modalidade de Entrada: O sistema utiliza apenas óculos de rastreamento ocular vestíveis e uma câmera RGB-D montada no robô. Os usuários interagem por meio de uma abordagem de tempo de fixação (dwell-time), fixando o olhar em pictogramas específicos da tarefa anexados aos objetos.
• Seleção de Tarefa: Os pictogramas de tarefa servem como marcadores fiduciários. Um modelo de detecção de objetos YOLOv12n identifica esses pictogramas e os objetos associados. O sistema suporta tarefas como beber, comer e acender luzes.
• Transmissão de Dados (Correspondência de Características): Para transmitir os dados do objeto selecionado da cena do rastreador ocular para a câmera do robô, o sistema emprega a correspondência de características (feature matching). Os autores avaliaram vários detectores e correspondentes de características do OpenCV (AKAZE, BRISK, ORB, SIFT) e correspondentes (matchers) (Brute-Force, FLANN).
  • Seleção de Algoritmo: Através de testes "em ambiente real" (in-the-wild) e análise comparativa, o FLANN-AKAZE foi selecionado como o algoritmo ideal, oferecendo um equilíbrio entre o número de características correspondentes, tempo de computação e robustez contra outliers.
• Mecanismo de Contingência (Fallback): Para lidar com casos em que as classes de objetos não coincidem entre a visão do usuário e a visão do robô (por exemplo, devido a oclusão ou erros de detecção), um sistema de contingência de dupla abordagem foi implementado:
  1. Abordagem Comparativa: Corresponde a recortes de caixas delimitadoras (bounding boxes) de ambas as visões de câmera. Se as classes coincidirem, o objeto é confirmado.
  2. Busca em Ambiente Real (In-the-Wild Search): Se a classe estiver ausente ou houver incompatibilidade, o sistema agrupa características por todo o campo de visão do robô para localizar a área com a maior densidade de características correspondentes.
• Transformação de Coordenadas: Uma vez que um objeto é selecionado, sua localização é estimada usando a cadeia cinemática conhecida da configuração "eye-in-hand", permitendo que o robô planeje preensões sem precisar das coordenadas da cabeça do usuário.

Principais Contribuições

1. Comparação de Algoritmos: Uma comparação personalizada de algoritmos de correspondência de características para transmissão de dados de braço robótico assistivo, identificando o FLANN-AKAZE como o mais adequado para este caso de uso específico.
2. Framework de Código Aberto: Um framework de controle de robô baseado em rastreamento ocular de código aberto que resolve problemas de movimento de cabeça ao utilizar uma configuração "eye-in-hand", exigindo apenas óculos de rastreamento ocular padrão e uma câmera montada no robô.
3. Avaliação e Lições Aprendidas: Uma avaliação abrangente revelando desafios fundamentais na correspondência de características sob variações de iluminação e oclusão. Os autores fornecem "lições aprendidas" específicas sobre a calibração do redimensionamento de caixas delimitadoras, limiares de correspondência de características e parâmetros de teste de razão para otimizar o desempenho do sistema.

Resultados
O framework foi avaliado em um ambiente de laboratório com três casos de teste específicos (SU Cases) envolvendo copos, garfos e garrafas sob diversas condições (detecção perfeita, incompatibilidade de rótulos e diferentes campos de visão do usuário/robô).

• Taxa de Sucesso na Seleção de Tarefa: O sistema interpretou corretamente a seleção de objeto e tarefa em até 97,9% das medições (especificamente no SU Caso 3.1). A taxa média de sucesso de seleção de tarefa em todas as avaliações foi de aproximadamente 95,67%.
• Tempo de Resposta: O tempo médio do objeto selecionado até a transmissão da mensagem foi de 260,3 ms (DP 88,5 ms).
• Transmissão de Mensagem: A "taxa de envio de tarefa" (a porcentagem de tentativas que resultaram em uma mensagem transmitida) variou entre 44,9% e 57,8%. Os autores observam que uma taxa de envio menor é preferível a enviar mensagens incorretas, o que poderia levar a ações robóticas inseguras ou indesejadas.
• Robustez: O mecanismo de contingência lidou com sucesso com cenários onde as classes de objetos eram incompatíveis ou estavam ocluídas, embora o desempenho tenha diminuído quando o usuário e o robô visualizavam cenas significativamente diferentes (SU Caso 3).

Significância e Alegações
O artigo afirma que este framework fornece uma configuração adequada para controlar braços robóticos montados em cadeiras de rodas, reduzindo a complexidade da entrada sensorial necessária. Ao desacoplar a localização do objeto da posição da cabeça do usuário, o sistema oferece uma solução mais robusta para tarefas diárias do mundo real, onde o movimento da cabeça é inevitável. A integração de modelos de detecção de objetos de última geração (YOLOv12n) e a natureza de código aberto do framework permitem a adaptação para novas tarefas e objetos.

Os autores enfatizam que, embora o sistema demonstre alta precisão na seleção de tarefas em ambientes controlados, ele é um passo fundamental em direção à aplicação no mundo real. Eles reconhecem limitações, como a dependência atual de um conjunto limitado de classes de objetos e a necessidade de testes em ambientes cotidianos congestionados. O trabalho é apresentado não como um produto comercial final, mas como uma base modular e adaptável para aumentar a independência e a segurança de usuários com deficiências físicas severas por meio de assistência robótica autônoma.