🤖 AI

Floorplan2Guide: LLM-Guided Floorplan Parsing for BLV Indoor Navigation

O artigo propõe o Floorplan2Guide, um sistema de navegação baseado em LLM para usuários cegos e com baixa visão que converte plantas baixas em grafos de conhecimento para gerar instruções precisas, demonstrando que o aprendizado com poucos exemplos e o raciocínio espacial baseado em grafos superam significativamente o raciocínio visual direto no aprimoramento da precisão da navegação.

Autores originais: Aydin Ayanzadeh, Tim Oates

Publicado 2026-05-13

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Aydin Ayanzadeh, Tim Oates

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando navegar em um labirinto gigante e desconhecido, mas não consegue ver as paredes ou os caminhos. Para pessoas com deficiência visual, mover-se por espaços internos, como prédios de escritórios ou hospitais, é frequentemente como tentar resolver esse labirinto de olhos vendados. As soluções atuais frequentemente dependem de infraestrutura cara e pesada (como balizas especiais em todos os lugares) ou câmeras complexas que precisam ser re-treinadas para cada novo prédio individualmente.

O artigo "Floorplan2Guide" propõe uma maneira mais inteligente e leve de resolver isso. Pense nisso como dar ao usuário um GPS superinteligente que entende plantas baixas.

Veja como o sistema funciona, dividido em etapas simples:

1. O "Tradutor" (Transformando Plantas Baixas em um Mapa)

Imagine que você tem um desenho estático, em 2D, de um prédio (uma planta baixa). Para um computador, isso é apenas uma imagem de linhas e texto. Para um humano, é um mapa.

O Jeito Antigo: Computadores precisavam de uma equipe de engenheiros para medir manualmente cada parede e porta para transformar aquela imagem em um mapa utilizável.
O Jeito Novo (Floorplan2Guide): Os pesquisadores usam um "Modelo de Linguagem de Grande Escala" (uma IA avançada muito boa em ler e entender contexto). Eles alimentam a imagem da planta baixa nessa IA. A IA atua como um tradutor, lendo o desenho e convertendo-o em um Grafo de Conhecimento.
- Analogia: Pense no Grafo de Conhecimento como o esqueleto do prédio. Em vez de apenas ver uma imagem de um cômodo, a IA entende que a "Sala A" está conectada ao "Corredor B" através da "Porta C", e sabe exatamente a distância entre eles. Ela transforma uma imagem plana em um mapa mental 3D de conexões.

2. O "Guia" (Gerando Instruções)

Uma vez que a IA construiu esse "mapa-esqueleto", um usuário pode perguntar: "Como chego ao banheiro?"

Em vez de apenas olhar para a imagem e chutar, a IA olha para seu mapa-esqueleto. Ela traça o caminho do ponto de partida até o destino.
Em seguida, ela traduz esse caminho em instruções faladas simples e humanas: "Ande para frente 10 passos, vire à esquerda na interseção e o banheiro estará à sua direita."
O Segredo (Aprendizado com Poucos Exemplos): Os pesquisadores descobriram que, se mostrarem à IA alguns exemplos de boas direções primeiro (como mostrar a um aluno alguns problemas de matemática de exemplo antes de uma prova), a IA fica muito melhor em dar direções. Isso é chamado de "aprendizado com poucos exemplos" (few-shot learning), e tornou o sistema significativamente mais preciso.

3. O "Checkpoint" (Marcadores ArUco)

Como o sistema sabe onde o usuário realmente está no prédio real?

O sistema usa pequenas etiquetas quadradas, semelhantes a códigos QR, chamadas marcadores ArUco, colocadas pelo prédio (nas paredes, nas interseções, etc.).
A câmera do telefone do usuário escaneia esses marcadores.
Analogia: Pense nesses marcadores como paradas de ônibus. Quando o usuário escaneia um marcador, o sistema sabe: "Ah, você está na Parada de Ônibus nº 4". Em seguida, ele verifica seu "mapa-esqueleto" para ver qual é a próxima instrução. Se o usuário se desviar do caminho, o sistema sabe imediatamente e pode dizer: "Você saiu da rota, vamos colocá-lo de volta no trilho."

O Que Eles Encontraram?

Os pesquisadores testaram esse sistema em um prédio real de sua universidade (o prédio de Matemática e Psicologia) e em conjuntos de dados de teste padrão.

Melhor do que apenas olhar: Quando a IA usou o "mapa-esqueleto" (Grafo de Conhecimento) para dar direções, foi 15,4% mais precisa do que quando tentou apenas olhar para a imagem e chutar. O mapa ajudou-a a evitar "alucinações" (inventar caminhos que não existem).
O Melhor Modelo: Entre os diferentes modelos de IA que testaram, o Claude 3.7 Sonnet foi o melhor navegador.
Taxas de Sucesso: Com a configuração correta (usando o "mapa-esqueleto" e mostrando alguns exemplos à IA primeiro), o sistema teve sucesso em cerca de 92% das vezes em rotas curtas, 77% em rotas médias e 62% em rotas longas e complexas.

A Conclusão

Este artigo apresenta um sistema que não precisa reconstruir o mundo com sensores caros. Em vez disso, ele pega uma imagem simples de uma planta baixa, usa uma IA inteligente para transformá-la em um mapa lógico de conexões e usa esse mapa para guiar usuários cegos ou com baixa visão passo a passo. É como dar ao usuário um guia turístico digital que memorizou a planta baixa do prédio e pode dizer exatamente para onde ir, usando apenas um smartphone e algumas etiquetas na parede.

Nota: O artigo afirma explicitamente que este sistema foca em roteamento e instruções de navegação. Atualmente, ele não lida com a evasão de obstáculos em movimento (como pessoas passando) ou mudanças dinâmicas no ambiente.

Resumo Técnico: Floorplan2Guide

Declaração do Problema

A navegação indoor permanece um desafio crítico para pessoas Cegas e com Baixa Visão (CBV), que enfrentam barreiras significativas na orientação e na aquisição de informações espaciais. Embora soluções baseadas em infraestrutura (por exemplo, balizas BLE, RFID) ofereçam precisão, elas exigem instalação e manutenção custosas. Por outro lado, abordagens leves baseadas em visão e aprendizado profundo frequentemente carecem de generalização para novos ambientes, exigindo retreinamento extensivo para layouts específicos e falhando em se adaptar a iluminação dinâmica ou estruturas não vistas. Além disso, métodos tradicionais de análise de plantas baixas dependem de heurísticas geométricas e pré-processamento manual, que são intensivos em mão de obra e propensos a erros. O desafio central abordado é a construção automática de um grafo de conhecimento espacial robusto a partir de imagens estáticas de plantas baixas arquitetônicas para permitir a localização de caminhos confiável e a navegação consciente do contexto, sem dependências pesadas de infraestrutura.

Metodologia

O framework proposto Floorplan2Guide utiliza Modelos de Linguagem de Grande Escala (LLMs) e Modelos de Linguagem de Grande Escala Multimodais (MLLMs) para transformar imagens estáticas de plantas baixas em grafos de conhecimento legíveis por máquinas e navegáveis. O sistema opera por meio de um pipeline estruturado e multifásico:

Pré-processamento e Extração Semântica:
- Imagens de plantas baixas de alta qualidade passam por Reconhecimento Óptico de Caracteres (OCR) utilizando ferramentas como PaddleOCR, EasyOCR ou Tesseract para extrair dados textuais (números de salas, rótulos).
- Esses dados textuais são combinados com a entrada visual para enriquecer a compreensão do modelo sobre o layout.
Geração de Grafo de Conhecimento Espacial:
- Um MLLM (por exemplo, GPT-4o, Claude 3.7 Sonnet, LLaMA 3.2) processa a imagem da planta baixa e o texto extraído para gerar um grafo estruturado $G = (V, E, A, M_\eta, W, S)$ .
- Nós ( $V$ ): Representam salas distintas, interseções ou lugares, armazenando centróides geométricos, atributos semânticos (tipo de sala) e metadados.
- Arestas ( $E$ ): Codificam a navegabilidade e a adjacência entre nós (por exemplo, portas, passagens).
- Pesos ( $W$ ): Capturam informações de distância e acessibilidade, escaladas para dimensões do mundo real.
- O sistema emprega um prompt de sistema para guiar o LLM na extração de mapas de nós e validação de conectividade, utilizando rodadas de refinamento para minimizar erros de extração.
Geração de Instruções de Navegação:
- Diferente do raciocínio visual direto, onde o LLM interpreta a imagem bruta, esta abordagem alimenta o grafo de conhecimento estruturado ao LLM.
- O LLM utiliza as relações topológicas e semânticas explícitas do grafo para gerar instruções de navegação passo a passo, legíveis por humanos (por exemplo, "caminhe 15 metros, vire à esquerda").
- O sistema prioriza a geração de direções otimizadas com base no grafo, em vez de depender exclusivamente de algoritmos tradicionais de caminho mais curto, visando descrições em linguagem natural adequadas para usuários CBV.
Localização via Marcadores ArUco:
- Para preencher a lacuna entre o grafo digital e o ambiente físico, o sistema emprega marcadores fiduciais ArUco posicionados em locais-chave (entradas, interseções, salas).
- Os usuários escaneiam esses marcadores por meio de um dispositivo equipado com câmera. O ID único do marcador vincula-se a um nó específico no grafo de conhecimento, permitindo que o sistema localize a posição do usuário.
- O sistema fornece feedback: se o usuário estiver no caminho correto, ele repete a última instrução; se desviar, alerta-o. Este estudo utiliza marcadores para pontos de verificação de localização, em vez de redirecionamento dinâmico.

Contribuições Principais

Framework de Análise Inovador: Introdução de uma solução que utiliza modelos fundamentais para analisar plantas baixas, transformando informações espaciais em um grafo de conhecimento, permitindo extração semântica precisa e representação estruturada para navegação.
Integração de Aprendizado com Poucos Exemplos (Few-Shot): Demonstração de que o aprendizado com poucos exemplos melhora significativamente o desempenho de navegação (medido pela Taxa de Sucesso) em comparação com o aprendizado sem exemplos (zero-shot), aprimorando a consistência do raciocínio espacial sem exigir ajuste fino do modelo.
Validação no Mundo Real: Validação bem-sucedida do sistema em um ambiente do mundo real (Edifício de Matemática e Psicologia da UMBC, MP-1), mostrando que instruções baseadas em grafos, especificando contagens de passos e distâncias, são eficazes para usuários CBV.

Resultados Experimentais

O sistema foi avaliado no conjunto de dados CVC-FP (benchmark padronizado) e em um cenário do mundo real na UMBC. Três modelos foram testados: GPT-4o, Claude 3.7 Sonnet e LLaMA 3.2 Vision-Instruct 11B.

Impacto do Aprendizado com Poucos Exemplos:
- No conjunto de dados CVC-FP, todos os modelos mostraram melhoria com prompts de poucos exemplos. Claude 3.7 Sonnet alcançou as maiores taxas de sucesso: 84,6% (curto), 76,9% (médio) e 61,5% (longo) para percursos.
- Em avaliações no mundo real (MP-1), o Claude 3.7 Sonnet sob prompting de 5 exemplos alcançou a maior precisão: 92,31% (curto), 76,92% (médio) e 61,54% (longo).
- Geralmente, o aprendizado com poucos exemplos melhorou as Taxas de Sucesso (SR) em 6–9% sobre o aprendizado sem exemplos, particularmente em rotas complexas e multi-turno.
Baseado em Grafos vs. Raciocínio Visual Direto:
- Um experimento comparativo (Experimento III) avaliou o impacto da representação explícita de grafos contra o raciocínio visual direto (zero-shot, sem grafo intermediário).
- A estruturação espacial baseada em grafos melhorou o desempenho em todos os modelos. Por exemplo, o Claude 3.7 Sonnet melhorou de 76,92% para 84,62% em rotas curtas ao utilizar o grafo.
- No geral, a abordagem baseada em grafos resultou em uma taxa de sucesso 15,4% maior do que o raciocínio visual direto, confirmando que a codificação topológica explícita reduz alucinações e fortalece a consistência espacial.

Significado e Alegações

O artigo afirma que o Floorplan2Guide oferece uma solução mais precisa e acessível para navegação indoor, aproveitando as capacidades de raciocínio dos LLMs combinadas com dados espaciais estruturados.

Independência de Infraestrutura: O sistema requer apenas uma imagem de planta baixa e um dispositivo equipado com câmera para escanear marcadores ArUco, evitando os altos custos e a manutenção de sistemas pesados em infraestrutura, como balizas BLE.
Confiabilidade Aprimorada: Ao converter plantas baixas em grafos de conhecimento, o sistema mitiga os erros de "alucinação" comuns no raciocínio visual direto, fornecendo um planejamento de caminhos mais confiável.
Design Centrado no Usuário: A geração de instruções passo a passo com distâncias específicas e contagens de passos torna a saída mais acessível para usuários CBV em comparação com direções abstratas.
Escalabilidade: A abordagem demonstra potencial para generalização em diferentes ambientes sem a necessidade de retreinamento específico do ambiente, desde que a planta baixa esteja disponível.

Os autores reconhecem limitações, incluindo a falta de evasão dinâmica de obstáculos e a necessidade de estudos de usuários mais amplos com participantes CBV para validar totalmente a robustez em diversos cenários do mundo real. No entanto, os resultados sugerem que a análise de grafos guiada por LLMs é uma direção viável e promissora para navegação indoor assistiva.