GRIHA: Synthesizing 2-Dimensional Building Layouts from Images Captured using a Smart Phone

O artigo apresenta o GRIHA, um framework que utiliza câmeras de smartphones comuns e tecnologia SLAM (via ARCore) para gerar rapidamente plantas baixas 2D de ambientes internos a partir de imagens RGB, superando as limitações de métodos existentes que dependem de câmeras de profundidade ou imagens panorâmicas sem oclusão.

O essencial

Imagine que você quer desenhar o mapa do tesouro (a planta baixa) da sua casa ou do seu escritório, mas não tem um arquiteto, uma fita métrica e nem tempo para medir cada parede. O jeito tradicional seria você andar pela casa, medindo tudo e desenhando no computador, o que é cansativo e chato.

Existem aplicativos que tentam fazer isso usando câmeras especiais que "enxergam" a profundidade (como o Kinect) ou pedem que você tire uma foto de 360 graus (panorâmica). O problema? A maioria das pessoas não tem essas câmeras especiais, e tirar uma foto panorâmica perfeita em um escritório cheio de móveis é quase impossível, pois os móveis escondem (ocluem) as paredes.

É aqui que entra o GRIHA, o "herói" deste artigo.

O Que é o GRIHA?

Pense no GRIHA como um detetive de arquitetura que usa apenas o celular comum que você já tem no bolso. Ele consegue transformar algumas fotos normais que você tira em um mapa 2D completo da sua casa.

A sigla significa "Gerando o Interior de uma Casa usando ARCore". O segredo dele é usar uma tecnologia chamada ARCore (da Google), que já vem instalada na maioria dos celulares Android.

Como Funciona a Mágica? (A Analogia do Quebra-Cabeça)

Vamos imaginar que a sua casa é um grande quebra-cabeça, mas as peças estão espalhadas e você só pode ver pedaços delas.

1. A Coleta de Pistas (As Fotos):
   Em vez de girar o celular em 360 graus (o que é difícil em lugares cheios), o GRIHA pede que você tire 4 fotos simples de cada cômodo (uma de cada canto) e uma da porta. É como se você estivesse tirando "polaroids" dos cantos da sala.

2. O Cérebro que Imagina a Profundidade (Estimativa de Profundidade):
   Como a foto é plana (2D), o celular precisa "adivinhar" o quanto cada objeto está longe. O GRIHA usa uma inteligência artificial treinada para olhar uma foto e criar um "mapa de profundidade" imaginário. É como se o celular tivesse olhos de raio-X que conseguem ver a distância entre você e a parede, mesmo sem uma câmera especial.

3. A Reconstrução 3D (Montando o Modelo):
   Com as fotos e o "mapa de profundidade" imaginado, o sistema cria uma nuvem de pontos 3D. Imagine que cada foto vira uma nuvem de poeira mágica que forma a forma da sala no espaço.

4. O GPS do Celular (SLAM):
   Enquanto você tira as fotos, o celular está usando seu giroscópio e acelerômetro (o sistema SLAM) para saber exatamente onde você está e para onde está olhando. É como se o celular tivesse um GPS interno que diz: "Ok, você tirou essa foto no canto noroeste e virou 90 graus para a próxima". Isso ajuda a juntar as nuvens de poeira (as fotos) no lugar certo.

5. O Alinhamento Perfeito (Regularização):
   Aqui está a parte genial. O sistema sabe que, na maioria das casas, as paredes são retas e formam ângulos de 90 graus (o mundo "Manhattan"). Se a inteligência artificial errar um pouco e fazer a parede parecer torta, o GRIHA "estica" e "endireita" tudo automaticamente para que fique perfeito, como se estivesse arrumando um tapete torto.

6. O Toque Final (Portas):
   O sistema também usa outra inteligência artificial para "enxergar" as portas nas fotos e colocá-las no lugar certo no mapa final.

Por Que Isso é Melhor que os Outros?

• Sem Hardware Caro: Você não precisa comprar câmeras de profundidade. Seu celular atual já serve.
• Resistente a Bagunça: Se você tem uma sala cheia de móveis, sofás e caixas, os outros métodos falham porque não conseguem ver as paredes atrás dos móveis. O GRIHA, ao tirar fotos de vários ângulos, consegue "ver" as partes que os outros não veem.
• Rápido e Sem Dor de Cabeça: Você só tira 4 fotos. Não precisa caminhar pela sala inteira escaneando tudo, nem precisar desenhar cantos manualmente no aplicativo (o que é chato e propenso a erros).
• Funciona na Escuridão: Alguns aplicativos precisam de muita luz e contraste para funcionar. O GRIHA funciona mesmo em lugares com iluminação ruim.

O Resultado

No final, você tem um desenho 2D (a planta baixa) da sua casa, com medidas precisas, gerado em poucos minutos, apenas usando o celular que você já tem no bolso.

Resumo da Ópera: O GRIHA pega a tecnologia de realidade aumentada que já existe no seu celular, combina com inteligência artificial para "adivinhar" a profundidade e usa matemática para endireitar tudo, transformando fotos simples em um mapa profissional, sem precisar de equipamentos caros ou de um arquiteto. É como ter um mágico de arquitetura no seu bolso!

Resumo técnico

Resumo Técnico: GRIHA

1. Problema Definido

A reconstrução de cenas internas e a geração de plantas baixas (layouts) em 2D ou 3D a partir de imagens é um desafio significativo na área de visão computacional e modelagem de informações de construção (BIM).

• Limitações dos Métodos Atuais: A maioria das soluções existentes depende de câmeras de profundidade (RGB-D, como Kinect ou LiDAR) ou de fotos panorâmicas de 360°.
  • Hardware Especializado: O uso de câmeras de profundidade restringe a adoção em massa, pois requer hardware específico que o usuário comum não possui.
  • Oclusão em Panoramas: Métodos baseados em panoramas frequentemente falham em ambientes internos comuns (como escritórios ou casas), onde móveis e decorações causam oclusões severas, impedindo a captura completa das paredes e cantos em uma única imagem esférica.
• O Desafio: Desenvolver um sistema capaz de gerar plantas baixas precisas utilizando apenas imagens RGB convencionais capturadas por câmeras de smartphones padrão, sem hardware de profundidade e sendo robusto a oclusões.

2. Metodologia Proposta (GRIHA)

O GRIHA (Generating Room Interior of a House using ARCore) é um framework que utiliza uma abordagem baseada em aprendizado de máquina e geometria para estimar layouts a partir de múltiplas fotos 2D parciais. O processo segue os seguintes passos:

A. Coleta de Dados e Pose

• Entrada: O usuário captura várias imagens 2D (RGB) de cada canto de um cômodo e da porta, utilizando um aplicativo Android desenvolvido em Unity3D.
• Pose da Câmera: O sistema aproveita a biblioteca Google ARCore (disponível nativamente na maioria dos dispositivos Android) para estimar a pose da câmera (rotação e translação) em tempo real usando SLAM (Simultaneous Localization and Mapping) baseado em IMU e pontos de características da imagem. Isso elimina a necessidade de calibração manual ou varredura contínua.

B. Estimativa de Profundidade (Depth Estimation)

• Como as imagens de entrada são RGB (sem profundidade), o sistema utiliza uma rede neural pré-treinada baseada em uma arquitetura Encoder-Decoder (adaptada de [6], utilizando DenseNet-169 como encoder) para gerar mapas de profundidade a partir de cada imagem RGB individualmente.

C. Estimativa de Layout e Bordas

• Para identificar a geometria do cômodo, o sistema adapta a rede LayoutNet ([31]) para prever mapas de bordas e cantos a partir das imagens RGB.
• A rede é capaz de lidar com cantos ocluídos, diferentemente de métodos que exigem visibilidade total de todos os cantos em uma única imagem.

D. Reconstrução 3D e Nuvem de Pontos

• Os mapas de profundidade estimados são combinados com as imagens RGB e os parâmetros intrínsecos da câmera (focal length, centro) para gerar uma nuvem de pontos 3D para cada cena parcial.
• As poses da câmera fornecidas pelo ARCore são usadas para alinhar e transformar essas nuvens de pontos parciais em um sistema de coordenadas global.

E. Regularização e Geração do Layout 2D

• Projeção 2D: As nuvens de pontos 3D são projetadas em um plano 2D.
• Regularização Local e Global: O sistema assume um "Mundo Manhattan" (paredes ortogonais, ângulos de 90°). Um algoritmo de regularização (K-means e ajuste de ângulos) é aplicado para:
  1. Agrupar pontos e alinhar linhas para formar paredes retas.
  2. Garantir que os ângulos entre as paredes sejam de 90°.
  3. Unir as nuvens de pontos parciais de todos os cômodos em um único layout global.
• Detecção de Portas: Uma rede YOLO treinada no conjunto de dados DoorDetect é utilizada para identificar portas nas imagens e posicioná-las corretamente na planta baixa, mantendo a proporção relativa em relação às paredes.

3. Principais Contribuições

1. Estimativa sem Panoramas ou Hardware Especializado: O primeiro framework a gerar plantas baixas 2D precisas apenas com imagens RGB convencionais de smartphones, sem depender de câmeras de profundidade ou fotos panorâmicas de 360°.
2. Aplicação Móvel Integrada: Desenvolvimento de um aplicativo Android que coleta dados e utiliza pose do ARCore para reconstrução 3D.
3. Robustez a Oclusões: O método supera técnicas existentes em ambientes com móveis e objetos que bloqueiam a visão de cantos e paredes, pois utiliza múltiplas visões parciais em vez de uma única visão global.
4. Baixa Interação do Usuário: Requer apenas 4 interações (fotos dos 4 cantos) por cômodo, eliminando a necessidade de varredura contínua ou calibração manual de cantos.
5. Testes Multiplataforma: Validação do sistema em diferentes dispositivos (Google Pixel 2 XL e Samsung A50), demonstrando independência de plataforma.

4. Resultados Experimentais

Os testes foram realizados em três conjuntos de dados: Salas de Aula, Laboratórios e Escritórios (prédio do departamento de Ciência da Computação do IIT Jodhpur).

• Precisão Quantitativa:
  • O GRIHA foi comparado com aplicativos comerciais (Magic Plan, Tape Measure, Measure, AR Plan 3D).
  • Em salas de aula, o GRIHA obteve o menor erro médio absoluto (%) tanto em área (3.12%) quanto em razão de aspecto (2.21%).
  • Em escritórios, obteve o menor erro de área (3.25%).
  • Em laboratórios (cenários com alta oclusão), o GRIHA manteve desempenho competitivo, superando outros métodos em cenários onde a oclusão prejudicava a detecção de cantos.
• Análise de Profundidade e Bordas:
  • A estimativa de profundidade apresentou alta similaridade estrutural (SS > 0.81) em ambientes com boa iluminação, caindo ligeiramente em laboratórios devido à complexidade e oclusão.
  • O erro de detecção de cantos foi baixo (entre 1.04% e 1.30%).
• Robustez e Usabilidade:
  • Oclusão: O GRIHA funcionou onde aplicativos concorrentes falharam (ex: cantos escondidos por móveis).
  • Iluminação: O sistema foi robusto em condições de baixa luz e superfícies uniformes, onde métodos baseados em SLAM tradicional falhavam por falta de pontos de características.
  • Interação: Enquanto concorrentes exigem varredura contínua e adição manual de cantos, o GRIHA requer apenas o clique de fotos, reduzindo erros humanos e tempo de uso.
• Consumo de Energia: O sistema mostrou eficiência energética, embora o Samsung A50 tenha consumido mais bateria que o Pixel 2 XL durante os testes.

5. Significado e Conclusão

O trabalho GRIHA representa um avanço significativo na democratização da criação de modelos BIM e plantas baixas. Ao eliminar a dependência de hardware caro (câmeras de profundidade) e de modos de captura específicos (panoramas sem oclusão), o método torna a digitalização de ambientes internos acessível a qualquer usuário com um smartphone comum.

A capacidade de lidar com ambientes desordenados e ocluídos é a principal vantagem competitiva, permitindo a geração de layouts em situações reais onde métodos anteriores falham. A integração com o ARCore garante que o sistema seja rápido, eficiente e fácil de implantar.

Trabalhos Futuros: Os autores planejam relaxar a suposição de "Mundo Manhattan" para lidar com cenas mais generalizadas e não ortogonais, além de tentar estimar o layout de pisos inteiros de forma mais automatizada.