🤖 AI

STEP: State-Aware Task Estimation and Planning with Multi-Modal LLMs for Human-Robot Collaboration

O artigo propõe o STEP, um framework consciente do estado que aproveita Modelos de Linguagem de Grande Escala Multimodais para estimar explicitamente os estados do sistema e prever transições de estado, superando, assim, as alucinações e ambiguidades na colaboração humano-robô para melhorar significativamente a executabilidade das ações e reduzir erros de estado final em tarefas de montagem industrial.

Autores originais: Maitrey Gramopadhye, Prakash Baskaran, Xiao Liu, Songpo Li, Soshi Iba

Publicado 2026-08-28

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Maitrey Gramopadhye, Prakash Baskaran, Xiao Liu, Songpo Li, Soshi Iba

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No movimentado mundo da indústria moderna, o sonho de um trabalho em equipe contínuo entre humanos e máquinas está se tornando realidade, mas permanece repleto de um mal-entendido fundamental. Para que um robô realmente assista um humano, ele deve fazer mais do que simplesmente seguir uma lista de comandos; ele deve compreender a intenção humana e antecipar o que vem a seguir. Esse desafio reside no cerne de um campo conhecido como antecipação de ação a longo prazo, onde computadores tentam prever uma sequência de eventos futuros com base no que acabaram de ver. Nos últimos anos, poderosos sistemas de inteligência artificial capazes de processar tanto imagens quanto texto surgiram como ferramentas promissoras para essa tarefa. Esses sistemas podem observar um vídeo de uma pessoa trabalhando e adivinhar o que ela está tentando construir. No entanto, resta uma lacuna significativa: embora esses sistemas inteligentes sejam excelentes em linguagem e reconhecimento de padrões, eles frequentemente carecem de uma verdadeira compreensão do mundo físico. Eles não acompanham naturalmente como o estado de uma sala muda quando um objeto é movido, levando-os a imaginar ações que são impossíveis ou a perder de vista o objetivo final.

Para preencher essa lacuna, pesquisadores do Honda Research Institute e da University of North Carolina at Chapel Hill desenvolveram um novo método chamado STEP, que significa Estimativa de Tarefa e Planejamento Sensível ao Estado (State-Aware Task Estimation and Planning). A equipe focou em um cenário industrial comum onde um operador humano está montando uma estrutura usando blocos de madeira em uma bancada, enquanto um robô observa e espera para assumir o controle. Em seus experimentos, o humano começaria a construir uma forma específica, como uma ponte ou uma torre, e então pararia, transferindo a responsabilidade do planejamento para o robô. Os pesquisadores queriam ver se poderiam ensinar o robô não apenas a adivinhar como a estrutura final deveria parecer, mas também a atualizar constantemente seu mapa mental do espaço de trabalho conforme planejava os próximos movimentos. Ao contrário de abordagens anteriores que simplesmente pediam ao robô para prever o próximo passo em uma frase, este novo sistema força o robô a descrever explicitamente o arranjo atual de cada bloco, prever como esse arranjo mudará após cada ação e, então, usar essa descrição atualizada para planejar os passos subsequentes.

A inovação central do STEP é sua insistência em manter um registro digital estruturado do mundo físico. Quando o robô observa a bancada, ele não gera apenas uma ideia vaga de "construir uma torre". Em vez disso, ele cria uma lista detalhada e organizada de fatos sobre a cena: onde cada um dos cinco blocos de madeira está localizado, se um bloco está de pé ou deitado e exatamente como ele está orientado em relação à câmera e a outros objetos. O sistema então usa essa descrição precisa para simular o futuro. Ele se pergunta: "Se eu mover este bloco para cá, como a cena parecerá a seguir?" e então repete essa pergunta para o movimento seguinte. Ao verificar constantemente suas próprias previsões em relação ao objetivo, o sistema pode medir o quão longe está de concluir a tarefa. Se uma sequência planejada de movimentos levar a um beco sem saída ou a um estado que está longe do objetivo, o sistema reconhece esse erro e encurta seu plano, escolhendo um caminho diferente que o aproxime do resultado desejado. Esse processo de planejar, simular o resultado e corrigir o curso é repetido várias vezes para garantir que o robô permaneça no caminho certo.

Os pesquisadores testaram essa abordagem em um ambiente simulado usando um conjunto de dados de operadores humanos teleoperando dois braços robóticos para montar blocos de madeira. Eles compararam seu método com uma técnica existente de ponta que não rastreia o estado do ambiente desta forma estruturada. Os resultados mostraram uma vantagem clara para o novo sistema. Os planos gerados pelo STEP foram significativamente mais práticos; os pesquisadores descobriram que as ações previstas pelo seu método puderam ser executadas com sucesso pelo robô 32,8% mais vezes do que as do método de referência. Além disso, quando o robô terminou sua tarefa, a estrutura final que ele construiu estava 14,8% mais próxima do objetivo pretendido do que as estruturas produzidas pelo método antigo. O estudo também revelou que, embora o método antigo às vezes produzisse listas de ações mais longas que correspondiam à sequência original do humano, esses passos extras eram frequentemente desnecessários ou incorretos, enquanto o novo método produzia planos mais curtos e eficientes que alcançavam o objetivo de forma confiável.

A equipe descobriu que o sucesso dessa abordagem dependia fortemente da precisão dos passos iniciais. Se o sistema identificasse corretamente o que o humano estava tentando construir e descrevesse com precisão o estado atual dos blocos, o planejamento subsequente era altamente eficaz. No entanto, se o sistema cometesse um erro ao adivinhar o objetivo ou julgasse mal a posição de um bloco, esses erros repercutiriam no restante do plano. Essa descoberta destaca a importância da capacidade do sistema de reavaliar constantemente a realidade física do espaço de trabalho. Os pesquisadores observaram que, embora seu método seja atualmente projetado para este cenário específico de construção de blocos, o princípio subjacente de rastrear explicitamente as mudanças de estado poderia ser adaptado para outras tarefas industriais, como a montagem de maquinário ou a construção de acessórios modulares. Eles também reconheceram que o sistema atual requer um tempo de computação significativo para executar esses múltiplos ciclos de planejamento, tornando-o mais lento do que métodos mais simples, mas acreditam que, à medida que a tecnologia avança, esses atrasos podem ser reduzidos. Em última análise, este trabalho demonstra que, ao dar à inteligência artificial uma maneira de manter uma contagem contínua do mundo físico, podemos criar robôs que não são apenas reativos, mas parceiros verdadeiramente colaborativos, capazes de compreender e completar tarefas complexas ao lado de humanos.

Resumo Técnico: Estimativa de Tarefas e Planejamento Sensíveis ao Estado com MM-LLMs (STEP)

Declaração do Problema

A colaboração humano-robô (HRC) eficaz em ambientes industriais exige que os robôs infiram as intenções humanas e gerem planos de longo horizonte acionáveis. Embora os Modelos de Linguagem de Grande Escala Multimodais (MM-LLMs) tenham mostrado promessa na Antecipação de Ação de Longo Prazo (LTA) por meio de aprendizado em contexto, eles enfrentam duas limitações críticas na robótica:

Falta de Consciência de Estado: Os MM-LLMs são pré-treinados em dados estáticos de texto e imagem sem interação com o mundo real. Consequentemente, eles têm dificuldade em rastrear transições de estado do sistema, levando frequentemente a ações "alucinadas" que se desviam do objetivo pretendido. As abordagens existentes que tentam o rastreamento de estado dependem de descrições em linguagem natural (que carecem de precisão) ou exigem acesso a estados iniciais de verdade fundamental (ground-truth), o que é irrealista em cenários industriais dinâmicos.
Ambiguidade de Ação: As saídas padrão de MM-LLM são frequentemente limitadas a pares "verbo-substantivo" de alto nível (ex: "colocar sobre a mesa"). Essa abstração falha em capturar parâmetros de execução necessários, como coordenadas específicas de posicionamento, orientação do objeto ou relações espaciais, levando à ambiguidade durante a execução física.

Metodologia: O Framework STEP

Os autores propõem o STEP (State-Aware Task Estimation and Planning), um pipeline que induz o MM-LLM a estimar explicitamente estados do sistema e prever transições de estado juntamente com planos de ação. O framework opera sem exigir interação direta com o ambiente ou entradas de estado de verdade fundamental.

O pipeline consiste em cinco estágios sequenciais:

1. Estimativa de Tarefa

O sistema recebe a sequência de ações realizadas por um operador humano ( $A_1, ..., A_k$ ) e uma imagem da estação de trabalho atual ( $I$ ). Usando um pequeno conjunto de exemplos em contexto, o MM-LLM estima a tarefa geral ( $T$ ) que o operador pretende completar (ex: "Construir um Arco"). A saída é restrita a uma lista predefinida de tarefas possíveis para guiar o modelo.

2. Geração de Representação de Estado

Simultaneamente, o MM-LLM analisa a imagem da estação de trabalho ( $I$ ) para gerar uma representação de estado estruturada ( $S$ ) em formato JSON. Diferente das descrições em linguagem natural, esta saída estruturada captura:

Localização: Posição de cada bloco (ex: sobre a mesa, sobre outro bloco específico).
Orientação: Em pé, deitado de frente para baixo ou deitado de lado.
Orientação da Face Superior: Paralela ou perpendicular à câmera.
Posicionamento Relativo: Localização específica (esquerda/direita/centro) se estiver empilhado.

Este formato estruturado permite a análise quantitativa do espaço de trabalho.

3. Predição de Ação

Usando a tarefa estimada ( $T$ ) e o histórico de ações ( $A_1, ..., A_k$ ), o MM-LLM prevê a sequência de ações futuras ( $A_{k+1}, ..., A_n$ ) necessárias para completar a tarefa. Notavelmente, os autores descobriram que incluir dados de imagem nesta etapa específica degradava o desempenho; portanto, este estágio depende exclusivamente do texto da tarefa e do histórico de ações.

4. Propagação de Estado

Para abordar a falta de rastreamento de estado, o STEP propaga o estado explicitamente. O MM-LLM é instruído com o estado atual ( $S$ ), o histórico de ações e a próxima ação prevista ( $A_{k+1}$ ) para gerar o próximo estado ( $S_{k+1}$ ) como um objeto JSON. Isso é realizado iterativamente para gerar uma sequência de estados futuros ( $S_{k+1}, ..., S_n$ ) correspondentes às ações previstas. Uma abordagem de cadeia de pensamento (chain-of-thought) é usada, onde o modelo primeiro descreve mudanças em linguagem natural antes de formatar o próximo estado como JSON.

5. Rollouts e Truncamento

O STEP emprega um mecanismo de "rollout" iterativo para refinar o plano:

Cálculo de Distância: O sistema calcula uma distância quantitativa ( $d_T$ ) entre os estados atuais/previstos e o estado de meta estimado. Esta é o número total de diferenças entre os 5 blocos e suas 4 características (máximo $d_T = 20$ ).
Truncamento: O sistema avalia múltiplos rollouts e trunca a sequência de ações no estado com o menor $d_T$ .
Iteração: O estado truncado torna-se o novo ponto de partida para o próximo rollout. Este processo se repete até que $d_T = 0$ ou que um número máximo de rollouts seja atingido, garantindo que o plano converja para o objetivo.

Configuração Experimental

Dataset: Um cenário simulado de montagem de blocos envolvendo 495 instâncias de 19 usuários. Usuários teleoperaram dois braços robóticos Franka para montar cinco blocos de madeira idênticos em uma das oito estruturas (ex: Diapasão, Ponte, Cavalo).
Baseline: Uma abordagem de LTA de última geração inspirada no AntGPT, que realiza estimativa de tarefa e um único rollout de predição de ação sem rastreamento de estado ou representação de estado estruturada.
Métricas:
- Executabilidade: Porcentagem de ações que passam por restrições lógicas e físicas (ex: precondições, poses de objetos).
- Erro do Estado Final: A diferença entre o estado final alcançável e o verdadeiro estado de meta.
- Longest Common Subsequence (LCS): Mede a sobreposição na ordem das ações entre as sequências previstas e registradas.
- Correção da Tarefa e Erro do Estado Atual: Precisão da inferência de tarefa e estimativa de estado.

Principais Resultados

Avaliado em um cenário de 50% de conclusão de tarefa usando GPT-4o, o STEP demonstrou melhorias significativas em relação ao baseline:

Executabilidade: O artigo relata uma melhoria geral de 32,8% na executabilidade de ações em comparação com o estado da arte. Na ablação específica do GPT-4o (Tabela III), o STEP alcançou 78,12% de executabilidade comparado aos 71,68% do baseline.
Erro do Estado Final: O artigo relata uma melhoria geral de 14,8% no erro do estado final. Na ablação específica do GPT-4o (Tabela III), o STEP reduziu o erro para 4,38 comparado aos 4,53 do baseline.
LCS: O baseline alcançou um LCS mais alto. Os autores atribuem isso ao fato de o baseline gerar sequências de ações mais longas e menos eficientes que, por acaso, apresentavam maior sobreposição com os dados registrados, enquanto a estratégia de truncamento do STEP produziu planos mais curtos e diretos.
Robustez: O STEP superou o baseline em vários tamanhos de MM-LLM (GPT-4o, GPT-4.1, GPT-5.1, GPT-5.2), embora o desempenho tenha degradado com modelos menores (GPT-4o mini) devido à menor precisão na estimativa de tarefa.

Significância e Alegações

O artigo afirma que o STEP preenche a lacuna entre o raciocínio de alto nível dos MM-LLMs e os requisitos precisos da execução robótica em ambientes industriais. Ao modelar explicitamente as transições de estado e usar representações JSON estruturadas, o método:

Mitiga Alucinações: Evita a geração de ações que são fisicamente impossíveis ou que divergem do objetivo ao rastrear quantitativamente a distância do estado.
Permite Execução Parametrizada: Vai além dos pares "verbo-substantivo" para fornecer os parâmetros de assistência específicos (localização, orientação) necessários para a execução no mundo real.
Opera Sem Verdade Fundamental: Diferente de trabalhos anteriores que exigem estados iniciais de verdade fundamental, o STEP infere o estado a partir de entrada visual, tornando-o aplicável a cenários do mundo real onde tais dados não estão disponíveis.

Os autores reconhecem limitações, especificamente que a implementação atual é adaptada para montagem de blocos e que o processo de rollout iterativo introduz latência (aprox. 148 segundos vs. 18 segundos para o baseline), que deve ser abordada para implantação em tempo real. Eles sugerem que trabalhos futuros poderiam focar na automação da geração de prompts para novos cenários e na otimização da velocidade de inferência através de hospedagem local ou ajuste fino (fine-tuning) do modelo.