Zero-shot 2D Grounding with Novel Affordance Types

Imagine que você está ensinando um robô a interagir com o mundo. Você pode dizer ao robô como uma "faca" se parece, e ele consegue encontrar uma em uma imagem. Mas saber o que uma faca é não é o mesmo que saber o que você pode fazer com ela. Esta é a diferença entre reconhecimento de objetos e "affordance" (potencialidade de ação). Affordance é uma palavra sofisticada para os pistas ocultas que um objeto nos dá sobre como usá-lo. Uma alça em uma caneca "permite" o ato de segurar; o lado plano de uma faca "permite" o corte; a casca de uma laranja "permite" o descascar. Para que os robôs sejam verdadeiramente úteis em nossas cozinhas e salas de estar bagunçadas e reais, eles precisam entender essas ações, não apenas os objetos.

O grande desafio tem sido que a maioria dos cérebros de robôs é treinada como alunos que apenas estudam para uma prova específica. Se um robô aprende a "cortar" uma maçã, ele pode ficar confuso quando solicitado a "cortar" um tomate, ou pode não saber como "descascar" uma banana se nunca tiver visto essa ação específica antes. É como um aluno que memoriza as respostas de uma folha de exercícios de matemática, mas trava quando o professor faz uma pergunta semelhante com números diferentes. Cientistas têm tentado construir robôs que possam lidar com essas instruções novas e não vistas, mas até agora, o foco tem sido principalmente em ensinar-lhes sobre novos objetos, não novos ações.

Este artigo introduz uma nova maneira de ensinar robôs a lidar com "tipos de affordance novos" — basicamente, novas maneiras de usar coisas que eles nunca foram explicitamente ensinados a usar. Os pesquisadores, Haomeng Zhang e Raymond A. Yeh, da Universidade de Purdue, notaram que os modelos de IA existentes são ótimos em encontrar novos objetos, mas terríveis em descobrir novas ações. Eles criaram um novo conjunto de desafios (chamados de benchmarks) para testar essa habilidade específica. Eles descobriram que os modelos de última geração atuais, que são muito inteligentes em reconhecer objetos, falham completamente quando solicitados a encontrar o lugar certo para "descascar" ou "sentar em" algo, caso essas ações específicas não estivessem em seus dados de treinamento.

Para corrigir isso, a equipe construiu um novo sistema chamado AffordAnything. Pense nele como um detetive que não olha apenas para a imagem inteira, mas dá zoom em pistas minúsculas. O sistema percebe que onde você interage com um objeto é geralmente uma parte específica dele (como a alça de uma xícara ou a borda de um livro). Em vez de tentar memorizar cada ação possível, este sistema usa um modelo de IA pré-treinado e poderoso (um Modelo de Linguagem Visual) para decompor o objeto em pequenos fragmentos (patches) e descobrir qual fragmento corresponde à palavra de ação. Por exemplo, se você pedir para "cortar", ele procura pela borda afiada; se pedir para "segurar", ele procura pela alça.

Os pesquisadores testaram duas versões. A primeira, AffordAnything, é uma versão "livre de treinamento", o que significa que funciona imediatamente sem precisar ser reensinada. Ela já teve um desempenho significativamente melhor do que os métodos existentes. A segunda versão, AffordAnything+, é uma atualização "treinável" que aprende a misturar essas pistas ainda melhor com apenas um pouco de prática. Em seus novos conjuntos de testes, este modelo atualizado melhorou a precisão de encontrar o local correto em 12,3% (medido como um aumento absoluto em IoU@0.4) em comparação ao melhor método anterior.

O artigo argumenta explicitamente contra a ideia de que simplesmente usar modelos de IA maiores e mais inteligentes ou apenas reconhecer objetos é suficiente. Eles mostraram que mesmo os modelos mais avançados falham quando a ação é nova. Eles também demonstraram que, embora esses modelos possam reconhecer uma "faca", eles não sabem automaticamente como "descascar" a menos que sejam especificamente projetados para procurar a relação entre a ação e a forma do objeto. Os resultados sugerem que, para tornar os robôs verdadeiramente adaptáveis, precisamos parar de ensinar-lhes uma lista fixa de ações e começar a ensiná-los a raciocinar sobre as partes de um objeto que tornam uma ação possível. Os autores esperam que esta nova maneira de testar e construir esses sistemas ajude os robôs a se tornarem mais flexíveis e prontos para o mundo real, onde as instruções estão sempre mudando.