Zero-Shot Transfer of Force Map Estimation Across GelSight Mini Sensors

No mundo da robótica, dar às máquinas a capacidade de sentir é um desafio que há muito depende das mãos humanas. Embora os robôs possam ver e ouvir com uma sofisticação crescente, o seu sentido do tato permanece frequentemente um assunto frágil e feito sob medida. Os investigadores constroem sensores especializados que parecem olhos macios e emborrachados, capturando imagens do que tocam para compreender a textura e a pressão. No entanto, fabricar estes sensores não é como cunhar peças idênticas numa linha de produção de fábrica. Como são frequentemente montados à mão em laboratórios, não existem dois sensores exatamente iguais. Um pode ter uma tonalidade de cor de fundo ligeiramente diferente, ou uma camada de gel umas frações de milímetro mais espessa do que outro. Esta falta de uniformidade cria um obstáculo significativo: um programa de computador treinado para compreender o "sentir" de um sensor específico falha frequentemente quando recebe uma unidade diferente, mesmo que pareçam quase idênticas. Para resolver isto, os cientistas têm normalmente de recolher quantidades massivas de novos dados e retreinar os seus modelos para cada novo sensor que constroem, um processo lento e caro que atrasa o progresso da destreza robótica.

Uma equipa de investigadores da Universidade de Alicante propôs uma forma de quebrar este ciclo, permitindo que um computador aprenda a ler o toque de um sensor e aplique esse conhecimento a qualquer outro sensor do mesmo tipo, sem precisar de ver um único exemplo novo primeiro. O trabalho deles foca-se num tipo específico de dispositivo chamado GelSight Mini, que utiliza uma câmara para tirar fotografias de uma superfície transparente e macia enquanto esta é pressionada contra objetos. Quando um objeto toca na superfície, cria um padrão único de luz e sombra que revela a forma e a força do contacto. Os investigadores desenvolveram um sistema de dois passos que primeiro limpa a imagem do toque, removendo a "impressão digital" específica do sensor, e depois utiliza essa imagem limpa para calcular exatamente quanta força está a ser aplicada em todas as direções. Ao fazer isto, demonstraram que um modelo treinado num apenas sensor podia prever com precisão as forças em sensores completamente diferentes, mesmo aqueles com fundos de cores diferentes, alcançando um nível de precisão que rivaliza com sistemas treinados com marcadores especiais.

O cerne da sua descoberta reside num método que trata as diferenças entre sensores como um problema de tradução e não como uma barreira. Imagine tentar compreender uma história escrita num dialeto que não fala; em vez de aprender cada novo dialeto do zero, primeiro traduz a história para uma língua padrão que conhece bem, e depois a lê. Os investigadores aplicaram esta lógica às imagens táteis. Construíram um sistema que pega na imagem bruta de um novo sensor desconhecido e a reconstrói numa imagem "geral" que parece ter vindo de um sensor padrão e idealizado. Esta primeira fase utiliza um tipo de inteligência artificial treinada num grande conjunto de imagens de um único sensor, onde a máquina aprendeu a reconhecer as características essenciais de um toque enquanto ignorava a cor de fundo específica ou as pequenas imperfeições daquela unidade. O resultado é uma imagem limpa e padronizada que remove as peculiaridades únicas do hardware, deixando apenas a informação pura sobre o objeto que está a ser tocado.

Uma vez que a imagem é padronizada, a segunda fase do sistema assume o controlo para determinar as forças físicas em jogo. Os investigadores descobriram que simplesmente olhar para a imagem reconstruída não era suficiente; eles precisavam de destacar exatamente onde ocorreu o contacto. Para fazer isto, subtraíram o fundo da imagem reconstruída da imagem original, criando uma imagem de diferença que mostrava apenas os pontos de contacto. Esta imagem clara e de alto contraste foi então alimentada numa segunda rede neuronal desenhada para prever o mapa de força. Esta rede calcula quanta pressão está a ser aplicada em três dimensões: empurrar para baixo e empurrar lateralmente em duas direções. A equipa testou esta abordagem utilizando um conjunto de dados de mais de 18.000 imagens, onde tiveram primeiro de remover pequenos marcadores coloridos que eram originalmente usados para ajudar o computador a ver as forças. Criaram um algoritmo para apagar digitalmente estes marcadores, deixando imagens limpas do toque, e depois treinaram o seu sistema para prever as forças a partir destas imagens sem marcadores.

Os resultados deste experimento foram surpreendentemente robustos. Quando o sistema foi testado em sensores que nunca tinha visto antes, incluindo unidades com cores de fundo diferentes e propriedades físicas ligeiramente distintas, apresentou uma consistência notável. Na primeira fase, onde o sistema reconstruía as imagens táteis, alcançou um alto grau de semelhança com as imagens originais do mundo real, com uma pontuação indicando que as imagens reconstruídas eram quase indistinguíveis das reais em termos de estrutura e detalhe. Na segunda fase, ao prever as forças reais, o sistema cometeu erros que foram muito pequenos, com uma média de pouco mais de um Newton de diferença em relação à força verdadeira. Para contexto, um Newton é aproximadamente o peso de uma pequena maçã, o que significa que o palpite do sistema variou cerca de o peso de uma única maçã em toda a superfície do sensor. Este nível de precisão foi alcançado mesmo que o sistema nunca tivesse sido treinado nos sensores específicos em que estava a ser testado, provando que o método pode generalizar para diferentes unidades de hardware.

Os investigadores também compararam a sua abordagem sem marcadores com sistemas que ainda utilizam os marcadores coloridos tradicionais. Descobriram que, embora os marcadores ajudem a reduzir ligeiramente os erros, a diferença não era grande o suficiente para justificar a complexidade e a obstrução visual que causam. O sistema treinado em imagens limpas, sem marcadores, teve um desempenho quase tão bom quanto o que utiliza marcadores, sugerindo que a remoção digital destes marcadores foi uma estratégia bem-sucedida. Além disso, todo o processo foi suficientemente rápido para ser usado em aplicações em tempo real. O sistema podia processar uma imagem e fornecer um mapa de força em menos de vinte milissegundos, o que é rápido o suficiente para acompanhar a velocidade com que estes sensores capturam imagens. Esta velocidade é crucial para robôs que precisam de reagir instantaneamente ao seu ambiente, como uma mão robótica a ajustar a sua preensão num objeto frágil.

Apesar destes sucessos, os investigadores foram cuidadosos ao notar os limites do seu trabalho atual. O sistema teve dificuldades quando as forças eram extremamente baixas, próximas de zero, ou extremamente altas, aproximando-se do limite máximo do sensor. Também teve dificuldade em prever a forma exata da área de contacto quando as forças eram muito elevadas ou quando o objeto estava a ser empurrado lateralmente com grande força. Estas são áreas onde a compreensão do modelo sobre a física do toque ainda não está completa. Os autores sugerem que melhorias futuras poderiam envolver a adição de regras de treino específicas para ajudar o computador a compreender melhor a geometria do contacto, garantindo que a forma do toque é preservada tão acuradamente quanto a própria força.

Este trabalho representa um passo significativo para tornar a sensação tátil prática para uso generalizado. Ao demonstrar que um modelo treinado num único sensor pode generalizar para muitos outros, os investigadores removeram um grande gargalo no desenvolvimento do toque robótico. O seu método mostra que é possível construir um "tradutor" universal para o toque, um que pode pegar na saída desordenada e variável dos sensores do mundo real e transformá-la num sinal limpo e fiável que um robô possa compreender. Esta abordagem não requer os conjuntos de dados massivos ou as condições de fabrico perfeitas que anteriormente eram consideradas necessárias, oferecendo um caminho mais flexível e eficiente para a próxima geração de máquinas que podem verdadeiramente sentir o mundo ao seu redor.