More with LESS -- Local Scene Representations for Tactile Imaging

Resumo Técnico: More with LESS – Representações de Cena Locais para Imagem Tátil

Definição do Problema
A imagem tátil (TI) visa reconstruir a estrutura interna de objetos macios através do toque, uma capacidade crítica para o diagnóstico médico (ex: detecção de lesões) e manipulação robótica. Embora abordagens recentes de aprendizado autossupervisionado (SSL), como o trabalho de Rimon et al. [34], tenham demonstrado resultados promissores, elas sofrem de limitações significativas:

1. Representações Globais: Métodos existentes codificam cenas táteis inteiras em um único vetor não estruturado. Isso ignora a natureza composicional de objetos físicos, exigindo treinamento em "todas as combinações possíveis de objetos" para generalizar, o que é computacionalmente caro e muitas vezes inviável.
2. Dependência de Robô: Métodos anteriores dependem de cinemática robótica precisa para rastreamento de pose e padrões de movimento vertical, limitando sua aplicabilidade a dispositivos manuais, onde a palpação humana envolve movimentos complexos e não verticais.
3. Dimensionalidade: Trabalhos anteriores foram amplamente restritos ao imaging 2D, perdendo a informação estrutural mais rica disponível em volumes 3D.

Metodologia: LESS (Local Encoder for Spatial Sensing)
Os autores propõem o LESS, uma arquitetura neural centrada no objeto projetada para explorar a natureza inerentemente local do sensoriamento tátil. A ideia central é que a resposta tátil da estrutura interna de um objeto em uma posição específica é quase independente das estruturas em posições distantes.

• Arquitetura:

  • Grade de Partículas: Em vez de um único vetor global, a cena tátil é modelada como uma grade de $N$ representações locais (partículas). Cada partícula é uma rede neural recorrente (especificamente uma Unidade Recorrente de Portão, GRU) com um campo receptivo espacial definido.
  • Processamento Local: Cada partícula processa apenas a sequência de medições táteis (força e pose) que caem dentro de seu campo receptivo. As entradas são centradas em relação à posição da partícula e codificadas usando codificações posicionais sinusoidais e MLPs.
  • Pesos Compartilhados: Todas as partículas compartilham pesos, permitindo que o modelo aprenda respostas táteis locais que são invariantes à posição absoluta.
  • Reconstrução de Imagem: Os estados latentes de todas as partículas são fundidos para reconstruir imagens 2D ou 3D. Para geração de imagem, o estado latente de cada partícula é mapeado para um patch de imagem local via convolução transposta. Esses patches são costurados através da média dos logits e aplicação de um softmax para produzir a imagem final.
  • Estimativa de Incerteza: A natureza local da arquitetura permite a estimativa de incerteza ao nível do pixel usando a entropia de Shannon das probabilidades de classe, visto que a incerteza em um local não está emaranhada com locais distantes.

• Treinamento e Coleta de Dados:

  • Aprendizado Autossupervisionado (SSL): O codificador-decodificador é treinado via predição de força. O modelo prevê a força em uma posição futura dada a representação local atual, minimizando o Erro Quadrático Médio (MSE).
  • Datasets: Os autores coletaram o maior conjunto de dados de interação tátil com corpos macios até o momento (~800 horas), compreendendo:
    • data-v1: Movimentos verticais de "poke" (semelhante ao trabalho anterior).
    • data-poke: Movimentos verticais com orientações de sensores variadas.
    • data-primitive: Movimentos teleoperados que se assemelham à palpação humana.
    • data-handheld: Dados manuais coletados com um sensor portátil rastreado por um sistema de estimativa de pose baseado em fiduciais.
  • Phantoms: Phantoms modulares com peles de silicone macias e preenchimentos de hidrogel contendo inclusões de variadas formas, tamanhos e números (únicas, múltiplas, conectadas). O ground truth foi obtido via RM de 3T.
  • Funções de Perda: Para reconstrução de imagem, os autores utilizam uma combinação de Focal loss e Dice loss para lidar com o desequilíbrio de classes entre as pequenas inclusões e o grande gel de fundo.

Principais Contribuições

1. Generalização Composicional Zero-Shot: O LESS demonstra a capacidade de generalizar para configurações não vistas. Modelos treinados exclusivamente em phantoms com inclusões únicas reconstroem com precisão objetos com múltiplas inclusões e dimensões maiores no tempo de teste. Isso é alcançado porque o modelo aprende padrões locais em vez de combinações globais de cenas.
2. Reconstrução 3D: O método estende a imagem tátil de fatias 2D para volumes 3D completos. Surpreendentemente, o treinamento em rótulos 3D melhora as métricas de fatias 2D em comparação ao treinamento apenas 2D, provavelmente devido ao aprendizado de regularidades espaciais entre fatias adjacentes.
3. Imagem Tátil Portátil (Hand-Held): Os autores apresentam um sistema prova de conceito portátil. Ao incorporar rastreamento de pose externo e treinar em diversos primitivos de movimento (incluindo movimentos humanos), eles permitem o imaging em tempo real fora de uma configuração robótica fixa.
4. Incerteza Espacial: A arquitetura fornece estimativas de incerteza localizadas, identificando áreas onde o operador deve coletar dados adicionais, um recurso difícil de alcançar com representações globais.

Resultos Experimentais

• Generalização: Em testes zero-shot em phantoms de "múltiplas inclusões" e "grandes" (fora da distribuição), o LESS superou significativamente o baseline global (GLOBAL). Por exemplo, no conjunto de múltiplas inclusões, o LESS alcançou um F1 score de 71,1% comparado a 44,6% para o GLOBAL.
• 3D vs. 2D: O treinamento em volumes 3D rendeu melhor precisão de reconstrução 2D (ex: menor erro de Centro de Massa) do que o treinamento apenas em fatias 2D.
• Robustez de Pose: O sistema permanece estável com ruído de posição de até ~1 mm e ruído de orientação de até ~0,1 radiano.
• Desempenho Hand-Held: Embora sensores mantidos por robôs tenham rendido uma precisão ligeiramente superior (erro de CoM 1,6 mm) do que a operação manual (8,4 mm), o treinamento em dados de movimento diversos (data-primitive) reduziu substancialmente a lacuna de desempenho em comparação ao treinamento apenas com dados de poke robótico.

Significância e Alegações
O artigo afirma que o LESS representa um passo significativo em direção ao imaging tátil prático e independente do operador. Ao mudar de representações globais para locais, o método supera a ineficiência de dados de abordagens SSL anteriores, permitindo a generalização para objetos compostos complexos sem necessidade de retreinamento. O desenvolvimento de um sistema portátil com visualização de incerteza em tempo real aproxima a pesquisa robótica da utilidade clínica, potencialmente auxiliando em dispositivos de uso doméstico e guiando médicos durante exames. Os autores observam que, embora o trabalho atual utilize phantoms sintéticos, a estrutura técnica (particularmente o sistema portátil) é desenhada para facilitar a futura avaliação em tecido humano.