Resumo Técnico: Configuração de Parâmetros de Varredura Consciente da Tarefa para Inspeção Robótica

Definição do Problema

O perfilamento a laser robótico é um método padrão para verificação dimensional e inspeção de superfície na manufatura. No entanto, a fidelidade das medições é frequentemente determinada não pelo planejamento de movimento do robô, mas pela configuração dos parâmetros operacionais do sensor (por exemplo, frequência de amostragem, faixa de medição, tempo de exposição, faixa dinâmica e iluminação). Atualmente, esses parâmetros são ajustados manualmente por tentativa e erro ou por meio de funções de ganho automático agnósticas à tarefa que maximizam a força do sinal sem considerar intenções específicas de inspeção (por exemplo, contorno global versus detecção de defeitos finos).

Configurações incorretas levam à perda irreversível de dados, como saturação, recorte ou retornos ausentes, que algoritmos a jusante não conseguem recuperar. Além disso, os objetivos de inspeção são tipicamente comunicados por meio de instruções em linguagem natural (por exemplo, "escaneie a superfície superior para detalhes finos"), mas os sistemas robóticos atuais tratam a configuração do sensor como uma configuração estática, em vez de uma variável de decisão adaptativa condicionada tanto à cena visual quanto à intenção da tarefa. O artigo identifica uma lacuna na pesquisa existente: enquanto a percepção ativa se concentra em onde olhar, raramente aborda como sentir com base na semântica da tarefa e na aparência visual.

Metodologia: ScanHD

Para abordar isso, os autores propõem o ScanHD, um framework baseado em Computação Hiperdimensional (HDC) para recomendação de parâmetros de configuração de sensores condicionada a instruções. O sistema recebe uma observação RGB pré-varredura e uma instrução de inspeção em linguagem natural para inferir uma configuração discreta para um perfilador a laser.

1. Conjunto de Dados: Instruct-Obs2Param

Os autores introduzem um conjunto de dados multimodal do mundo real para avaliar esse problema.

• Hardware: Um manipulador UR3 equipado com um perfilador a laser Keyence LJ-X8200 e uma câmera Intel RealSense D435i.
• Conteúdo: 16 objetos representativos (eletrônicos, ferramentas, blocos de calibração) distribuídos em 16 objetos, 3 condições de iluminação e 3 poses/rotações.
• Estrutura: O conjunto de dados vincula intenções de inspeção (codificadas como slots semânticos estruturados), observações visuais e parâmetros discretos reais do scanner.
• Geração: Uma "Rodízio de Evolução de Dados" é utilizada para sintetizar tripletos de instrução-observação-parâmetro de alta qualidade, utilizando LLMs para geração de instruções e calibração com especialista no loop para garantir validade e consistência física.

2. O Framework ScanHD

O ScanHD emprega uma abordagem baseada em representação primeiro, usando HDC para garantir robustez, interpretabilidade e baixa latência.

• Codificação:
  • Observações visuais e instruções em linguagem natural são incorporadas usando um Modelo Visão-Linguagem pré-treinado (CLIP).
  • Essas incorporações são vinculadas para formar uma representação condicionada à instrução.
  • A representação é projetada em um espaço bipolar de alta dimensão (hipervetores) por meio de um codificador de projeção aleatória.
• Aprendizado (Raciocínio Associativo por Parâmetro):
  • Em vez de um modelo monolítico de ponta a ponta, o ScanHD usa memórias associativas específicas por parâmetro. Cada um dos cinco parâmetros de varredura possui seu próprio conjunto de hipervetores de classe.
  • O treinamento envolve uma fase de aprendizado adaptativo de passagem única, seguida por refinamento iterativo opcional para afiar as fronteiras de decisão para amostras mal classificadas.
  • As operações de agrupamento e vinculação do HDC permitem a fusão composicional de entradas multimodais, mantendo a robustez ao ruído.
• Inferência:
  • Durante a implantação, o hipervetor de consulta codificado é comparado aos hipervetores de classe aprendidos usando similaridade cosseno.
  • O valor do parâmetro com a maior similaridade é selecionado por meio de uma operação argmax.
  • Esse processo é leve, interpretável e adequado para loops de controle robótico em tempo real.

Principais Contribuições

1. Formulação do Problema: O artigo reformula a configuração do sensor de uma configuração de engenharia estática para uma variável de decisão consciente da tarefa e de primeira classe na inspeção incorporada, condicionada tanto à observação visual quanto à intenção em linguagem natural.
2. Conjunto de Dados Instruct-Obs2Param: Um conjunto de dados multimodal do mundo real que vincula intenções de inspeção, observações visuais e parâmetros de varredura a laser discretos em diversos objetos e condições, abordando a falta de benchmarks padronizados para este problema específico.
3. Framework ScanHD: Um framework de computação hiperdimensional que permite raciocínio robusto, interpretável e por parâmetro. Ele vincula entradas multimodais a representações simbólicas e realiza recuperação associativa para inferência de baixa latência.
4. Validação Empírica: Experimentos abrangentes demonstrando que o ScanHD supera heurísticas baseadas em regras, modelos multimodais convencionais (ResNet, ViT, Fusão Precoce/Tardia) e Modelos de Linguagem Multimodal Grandes (MLLMs) em precisão e robustez.

Resultados Experimentais

Avaliado no conjunto de dados Instruct-Obs2Param, o ScanHD alcançou o seguinte:

• Precisão: 92,7% de Precisão Exata média e 98,1% de Win@1 média em precisão entre os cinco parâmetros.
• Comparação:
  • vs. Baseado em Regras: Superou significativamente heurísticas baseadas em regras (50,4% de Precisão Exata média), particularmente em parâmetros que exigem fundamentação visual.
  • vs. Modelos Unimodais: Modelos apenas de instrução falharam em parâmetros sensíveis à aparência (por exemplo, tempo de exposição), enquanto modelos apenas de observação falharam em parâmetros orientados à intenção (por exemplo, frequência de amostragem). O ScanHD fundiu com sucesso ambas as modalidades.
  • vs. MLLMs: MLLMs multimodais (variantes Qwen3-VL) performaram mal (<50% de Precisão Exata), lutando para mapear raciocínio de forma livre para escolhas discretas precisas e restritas por hardware sem viés indutivo específico do domínio.
• Generalização: O modelo demonstrou forte generalização cruzada entre divisões para mudanças de posição, rotação e iluminação, mantendo >91% de Precisão Exata na maioria dos cenários de divisão.
• Eficiência de Dados: O modelo alcançou >90% de Win@1 com apenas 20% dos dados de treinamento, indicando alta eficiência de dados.
• Eficiência: O ScanHD exibiu a menor latência de inferência entre todos os métodos testados, tornando-o adequado para implantação em tempo real, enquanto os MLLMs mostraram latências ordens de magnitude maiores.

Significado e Alegações

O artigo alega que o ScanHD permite configuração de sensores autônoma e condicionada a instruções, eliminando efetivamente a necessidade de ajuste manual e elevando a configuração do sensor de uma configuração estática para uma variável de decisão adaptativa.

Os autores enfatizam que sua abordagem aborda a realidade "sensor-first" da inspeção industrial, onde erros introduzidos na fase de aquisição são irreversíveis. Ao usar Computação Hiperdimensional, o sistema alcança um equilíbrio entre robustez (lidando com variações de aparência), interpretabilidade (caminhos de decisão transparentes) e eficiência (inferência de baixa latência), que são requisitos críticos para implantação em células robóticas industriais. O trabalho valida que a adaptação de sensores consciente da tarefa é um problema de aprendizado distinto e solucionável que as abordagens atuais de aprendizado profundo de ponta a ponta e LLMs não são otimizadas para abordar sem restrições estruturais específicas.