💻 computer science

SG-CoT: An Ambiguity-Aware Robotic Planning Framework using Scene Graph Representations

O artigo apresenta o SG-CoT, um quadro de planejamento robótico que utiliza representações de grafos de cena para permitir que modelos de linguagem detectem e esclareçam ambiguidades, superando significativamente os métodos anteriores em precisão e taxas de sucesso em ambientes de agentes únicos e múltiplos.

Autores originais: Akshat Rana, Peeyush Agarwal, K. P. S. Rana, Amarjit Malhotra

Publicado 2026-03-20

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Akshat Rana, Peeyush Agarwal, K. P. S. Rana, Amarjit Malhotra

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um robô muito inteligente, capaz de entender o que você diz e tentar fazer tarefas em casa, como "pegue a xícara" ou "arrume a mesa". O problema é que esse robô, por mais inteligente que seja, às vezes é muito confiante demais. Se você pedir "pegue a xícara" e houver três xícaras na mesa, o robô pode escolher uma aleatoriamente e errar, ou pior, tentar pegar uma que não existe. Ele não sabe perguntar: "Qual xícara você quer?".

Os pesquisadores deste artigo criaram uma solução chamada SG-CoT (uma mistura de "Grafo de Cena" com "Pensamento em Cadeia"). Vamos explicar como funciona usando uma analogia simples:

O Problema: O Robô com "Visão de Túnel"

Antes, os robôs usavam modelos de linguagem (como o ChatGPT) que funcionavam como um detetive que só lê um relatório escrito. Se o relatório diz "pegue a maçã", o robô tenta adivinhar qual maçã é. Se o relatório não diz nada sobre a cor ou o lugar, o robô faz um palpite. Se ele errar, o resultado pode ser desastroso (como colocar uma faca no micro-ondas).

A Solução: O SG-CoT como um "Arquivista com Lupa"

O SG-CoT muda a regra do jogo. Em vez de apenas ler e adivinhar, o robô agora tem um arquivista digital (o Grafo de Cena) e uma lupa (o processo de raciocínio).

O Mapa da Realidade (Grafo de Cena):
Imagine que, antes de agir, o robô tira uma foto do ambiente e cria um mapa de conexões detalhado. Não é apenas uma lista de "tem uma xícara". É um mapa que diz:
- "Há 3 xícaras."
- "A xícara 1 é vermelha e está à esquerda."
- "A xícara 2 é azul e está dentro da gaveta."
- "A xícara 3 não existe."
  Isso é o Grafo de Cena. É como transformar a bagunça da sala em um diagrama organizado de quem é quem e onde está.
O Raciocínio em Etapas (Chain-of-Thought):
Quando você dá a ordem ("Pegue a xícara"), o robô não age imediatamente. Ele começa a pensar em voz alta (como um personagem de filme que diz "Hmm, vamos ver...").
- Robô: "O usuário pediu a xícara. Vou consultar meu mapa."
- Consulta: "Ei, mapa, mostre-me todas as xícaras."
- Mapa: "Aqui estão 3 xícaras: Vermelha, Azul e Verde."
- Robô: "Ah! Tem mais de uma. O pedido do usuário é ambíguo. Se eu pegar a errada, vou falhar."
- Decisão: Em vez de chutar, o robô para e pergunta ao humano: "Você quer a vermelha, a azul ou a verde?"

Por que isso é genial?

A grande sacada do SG-CoT é que ele não deixa o robô alucinar.

Sem SG-CoT: O robô pensa: "Provavelmente é a vermelha" e pega a vermelha. Se era a azul, ele errou.
Com SG-CoT: O robô olha o mapa, vê que há confusão, e pergunta. Ele sabe exatamente por que está confuso (porque há duas opções) e faz a pergunta certa.

O Teste: O Jogo de "Esconder e Encontrar"

Os pesquisadores testaram isso em duas situações:

Um robô sozinho: Eles criaram cenários onde faltavam objetos ou havia muitos iguais. O SG-CoT acertou muito mais vezes do que os métodos antigos, porque ele verificou o "mapa" antes de agir.
Dois robôs trabalhando juntos: Imagine dois robôs em uma sala grande, onde cada um só vê metade da sala. Se um precisa de um objeto que está na metade da sala do outro, ele não tenta adivinhar. Ele pergunta ao colega: "Você vê o objeto X?". O SG-CoT permitiu que eles se comunicassem para resolver o mistério, aumentando muito o sucesso da tarefa.

Em Resumo

O SG-CoT é como ensinar um robô a não ter pressa. Em vez de correr e chutar a resposta, ele:

Cria um mapa mental detalhado do que vê.
Consulta esse mapa passo a passo.
Se o mapa mostrar que há dúvida, ele para e pergunta: "O que você quer dizer exatamente?".

Isso torna os robôs muito mais seguros e confiáveis, especialmente quando as instruções não são 100% claras ou quando o ambiente é complicado. É a diferença entre um robô que "acha que sabe" e um robô que "sabe o que está vendo e pede ajuda quando precisa".

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) têm sido amplamente utilizados como planejadores de alto nível para robôs, demonstrando forte capacidade de generalização. No entanto, eles enfrentam um desafio fundamental: a ambiguidade.

Fontes de Ambiguidade: A ambiguidade pode surgir de duas formas principais:
1. Subespecificação do Usuário: Instruções vagas (ex: "Pegue o copo" quando há múltiplos copos, ou "Me traga algo para comer").
2. Estado do Ambiente: Condições não observáveis ou incertas no ambiente (ex: objetos ausentes, múltiplos objetos com as mesmas características, ou observação parcial em sistemas multi-robô).
Limitações Atuais: Abordagens anteriores tendem a ser excessivamente confiantes, falhando em detectar ambiguidades induzidas pelo ambiente. Elas frequentemente dependem de representações visuais de alto nível (listas de objetos) que não capturam relações espaciais ou atributos detalhados, levando a ações subótimas ou inseguras. Além disso, muitos métodos focam apenas na ambiguidade da instrução, ignorando a do ambiente.

2. Metodologia: SG-CoT

O artigo propõe o SG-CoT (Scene Graph-Chain-of-Thought), um framework de planejamento robótico em duas etapas que integra Grafos de Cena (Scene Graphs) com o raciocínio iterativo de LLMs.

A. Construção do Grafo de Cena (Scene Graph)

O sistema primeiro gera uma representação estruturada do ambiente a partir de observações visuais.
Utiliza um Modelo Visão-Linguagem (VLM) para detectar objetos e inferir seus atributos (cor, tamanho, estado) e relações semânticas/espaciais entre eles (ex: "à esquerda de", "dentro de").
O grafo é formalizado como $G = (V, E)$ , onde $V$ são os nós (objetos) e $E$ são as arestas (relações).
A geração é feita via prompting para garantir que a saída seja um objeto JSON estruturado, permitindo a extração determinística.

B. Processo de Raciocínio Iterativo

Diferente do Chain-of-Thought (CoT) padrão, que é sequencial e passivo, o SG-CoT utiliza um ciclo ativo de Observação -> Raciocínio -> Chamada de Função:

Consulta ao Grafo: O LLM recebe a instrução e o esquema do grafo. Durante o raciocínio, ele pode chamar funções de API (ferramentas) para consultar o grafo de cena.
Funções de Recuperação:
- retrieve_node: Busca objetos por nome ou atributo (ex: "todos os objetos vermelhos").
- retrieve_edge: Busca relações entre objetos (ex: "o que está acima do copo azul").
Resolução de Ambiguidade: O LLM analisa os dados recuperados. Se identificar múltiplas interpretações válidas (multiplicidade), ausência de objetos ou falta de contexto, ele decide não executar uma ação física imediatamente.
Pergunta de Esclarecimento: Em vez de adivinhar, o LLM formula uma pergunta de esclarecimento direcionada ao usuário ou a outro robô, especificando a fonte da ambiguidade.

3. Principais Contribuições

Framework SG-CoT: Uma nova arquitetura que integra a construção de grafos de cena com raciocínio iterativo de LLMs, permitindo que o robô "ground" (ancore) seu pensamento na realidade observada antes de agir.
Classificação Formal de Ambiguidades: O trabalho define e testa três categorias distintas de ambiguidade:
- Induzida pelo Ambiente (ausência ou multiplicidade de objetos).
- Subespecificação do Usuário (instruções vagas).
- Ambiguidade de Observação (em ambientes multi-robô com visibilidade parcial).
Métrica de Avaliação: Introdução de uma métrica específica para medir a Taxa de Perguntas Corretas (CQR - Correct Question Rate), avaliando não apenas se o robô pediu ajuda, mas se fez a pergunta certa para resolver a ambiguidade.

4. Resultados Experimentais

Os experimentos foram realizados em ambientes simulados de mesa (baseados em SayCan) e em tarefas multi-robô (baseadas em LEMMA), comparando o SG-CoT com baselines como CLARA, Inner Monologue e ProgPrompt.

Ambiente de Agente Único:
- O SG-CoT superou consistentemente os métodos anteriores.
- Taxa de Sucesso (SR): Aumentou em pelo menos 4% em geral, chegando a 15% em cenários de ambiguidade ambiental complexa.
- Taxa de Perguntas Corretas (CQR): Houve uma melhoria mínima de 10% em relação ao melhor baseline anterior (Inner Monologue), demonstrando que a recuperação seletiva de dados do grafo ajuda a formular perguntas precisas.
- Ablação: Estudos mostraram que a remoção do raciocínio iterativo (fornecer o grafo inteiro de uma vez) ou a remoção das arestas (relações) do grafo causam quedas significativas de desempenho, validando a importância da estrutura e do processo iterativo.
Ambiente Multi-Robô (Observação Parcial):
- O SG-CoT demonstrou superioridade na comunicação inter-robô para resolver ambiguidades de observação.
- Atingiu uma taxa de sucesso de 75% (com o modelo Gemini-2.5-Flash), superando o ProgPrompt em 16%.
- O método forçou o LLM a consultar o grafo compartilhado antes de agir, evitando alucinações sobre objetos não visíveis.
Custo Computacional: O método exige mais chamadas ao LLM e tokens devido à geração do grafo e ao ciclo iterativo, mas a latência escala linearmente e não depende proporcionalmente do número total de objetos, pois o LLM recupera apenas as partes relevantes do grafo.

5. Significado e Conclusão

O SG-CoT representa um avanço significativo na robótica baseada em LLMs ao tratar a ambiguidade não como um erro a ser ignorado, mas como um estado a ser resolvido ativamente.

Robustez: Ao ancorar o raciocínio em um grafo de cena estruturado, o sistema reduz alucinações e aumenta a segurança, evitando ações perigosas em situações ambíguas.
Colaboração: Facilita a colaboração humano-robô e robô-robô, permitindo que o agente identifique exatamente o que falta para completar a tarefa.
Limitações: O trabalho reconhece que a dependência de VLMs para gerar o grafo inicial pode introduzir erros (arestas incorretas) e que o custo computacional pode ser um gargalo para instruções extremamente complexas. Além disso, os testes foram limitados a simulações.

Em suma, o SG-CoT oferece um caminho promissor para tornar a automação robótica mais confiável, segura e capaz de lidar com a complexidade e a incerteza do mundo real.