Tokenization Allows Multimodal Large Language Models to Understand, Generate and Edit Architectural Floor Plans

O artigo apresenta o HouseMind, um modelo de linguagem grande multimodal que utiliza tokens discretos de instâncias de cômodos para unificar a compreensão, geração e edição de plantas baixas arquitetônicas, permitindo a criação de layouts coerentes e controláveis a partir de instruções textuais.

O essencial

Imagine que você quer construir uma casa, mas em vez de desenhar paredes e portas com um lápis, você conversa com um assistente de IA e diz: "Quero uma sala grande no centro, com uma cozinha ao norte e um quarto a oeste".

O problema é que a maioria das IAs atuais, quando recebe esse pedido, funciona como um pintor que só vê cores. Elas tentam "adivinhar" como a casa deve ficar, mas muitas vezes o resultado é uma bagunça: a cozinha pode estar flutuando no ar, a porta pode estar dentro da parede ou a sala pode ser minúscula. Elas entendem a ideia, mas não a lógica do espaço.

É aqui que entra o HouseMind, o novo modelo apresentado neste artigo. Vamos explicar como ele funciona usando analogias simples:

1. O Grande Problema: A Diferença entre "Ver" e "Entender"

As IAs comuns (como os geradores de imagens) olham para um desenho de planta baixa e tentam copiar o visual. É como se elas estivessem tentando copiar um desenho de Lego olhando apenas para a foto final, sem saber como as peças se encaixam. O resultado pode parecer bonito, mas se você tentar montar, as peças não se conectam.

O HouseMind muda a regra do jogo. Em vez de tentar "pintar" a casa, ele aprende a falar a língua dos espaços.

2. A Solução: Transformando Paredes em Palavras (Tokenização)

A mágica do HouseMind acontece em três etapas simples:

• Passo 1: O Tradutor (VQ-VAE)
  Imagine que a planta baixa da casa é um texto escrito em um idioma estranho (pixels e linhas). O HouseMind usa um "tradutor" especial que transforma cada sala e cada contorno da casa em códigos de Lego (chamados de tokens).

  • Em vez de ver uma parede curva, ele vê o código <sala_123>.
  • Em vez de ver o formato do telhado, ele vê o código <contorno_456>.
    Isso transforma o desenho complexo em uma lista de palavras simples que o computador consegue entender perfeitamente.

• Passo 2: O Arquiteto que Lê (LLM Multimodal)
  Agora que a casa virou uma lista de "palavras" (códigos), o HouseMind usa um cérebro de IA (um Modelo de Linguagem Grande, como o que usa no ChatGPT) para ler e escrever essa lista.

  • Como ele vê a casa como palavras, ele pode usar a lógica humana. Se você diz "cozinha perto da sala", ele sabe que os códigos da cozinha e da sala devem estar lado a lado na lista, assim como as palavras "café" e "xícara" fazem sentido juntas.
  • Ele entende hierarquia: "A sala é a mãe de todos os quartos", então ele organiza os códigos para que a sala fique no centro e os quartos ao redor.

• Passo 3: O Mestre das Três Tarefas
  O HouseMind é um "canivete suíço" para arquitetura. Ele faz três coisas principais com a mesma "mente":

  1. Entender: Você mostra uma planta e ele diz: "Ah, vejo que esta é uma sala de estar com uma cozinha ao norte". Ele descreve a casa como um humano faria.
  2. Criar: Você diz "Quero uma casa com 3 quartos", e ele escreve a lista de códigos correta, que depois é desenhada como uma planta perfeita.
  3. Editar: Você diz "Mova a cozinha para a direita". Ele não tenta redesenhar a imagem inteira do zero; ele apenas troca os códigos da cozinha na lista e recalcula a posição. É como mover uma peça de Lego sem quebrar o castelo todo.

3. Por que isso é revolucionário?

Antes, para editar uma planta, você precisava de um software complexo ou de um arquiteto humano. As IAs antigas tentavam "apagar e pintar" pixels, o que muitas vezes deixava a parede torto ou a porta sumindo.

O HouseMind, ao tratar a casa como palavras e lógica, garante que:

• Tudo se encaixe: As portas batem nas paredes, as salas se tocam onde devem.
• É controlável: Você pode pedir mudanças específicas ("adicione um banheiro") e ele sabe exatamente onde colocar sem estragar o resto.
• É leve: Ele é pequeno o suficiente para rodar em computadores comuns, não precisa de supercomputadores gigantes.

Resumo da Ópera

Pense no HouseMind não como uma máquina de desenhar, mas como um arquiteto virtual que pensa em blocos de Lego.

Enquanto outras IAs tentam pintar um quadro e erram a perspectiva, o HouseMind monta o castelo peça por peça, garantindo que cada bloco esteja no lugar certo, obedecendo às regras da física e da lógica que você pediu. Ele traduz o seu desejo em palavras, organiza as peças e entrega uma casa pronta para morar (pelo menos no papel!).

Resumo técnico

Resumo Técnico: HouseMind

1. O Problema

O design de plantas arquitetônicas exige um raciocínio conjunto sobre geometria, semântica e hierarquia espacial. Embora modelos recentes de difusão e Grandes Modelos de Linguagem (LLMs) tenham melhorado a fidelidade visual, eles enfrentam limitações críticas na geração de layouts arquitetônicos:

• Falta de Coerência Espacial Global: Modelos visuais tendem a gerar planos que parecem plausíveis localmente, mas falham em manter relações de adjacência, circulação e hierarquia consistentes em todo o edifício.
• Controle e Interpretabilidade Limitados: Muitos modelos atuam como "caixas pretas", oferecendo pouco controle sobre a estrutura semântica (ex: mover uma cozinha para um local específico) ou a capacidade de editar planos existentes sem degradar a integridade estrutural.
• Desunião de Tarefas: Sistemas existentes geralmente separam a compreensão, a geração e a edição em arquiteturas distintas, dificultando um fluxo de trabalho unificado.
• Dependência Computacional: A maioria das soluções é computacionalmente pesada, dificultando a implantação local e a integração em fluxos de trabalho práticos de design.

2. Metodologia: HouseMind

O HouseMind é um modelo de Linguagem Multimodal (MLLM) unificado que aborda a compreensão, geração e edição de plantas baixas em um único framework coerente. A inovação central reside na tokenização hierárquica e no raciocínio multimodal.

A. Tokenização de Instâncias de Salas (Room-Instance Tokenization)

Em vez de tratar a planta como uma imagem contínua ou um grafo complexo, o HouseMind discretiza o layout em tokens espaciais usando VQ-VAEs (Autoencoders Variacionais Vetoriais Quantizados):

1. Discretização do Contorno (Outline): Um encoder VQ-VAE transforma a máscara binária do contorno global do edifício em uma sequência de tokens discretos (z_o).
2. Discretização Condicional de Salas: Cada sala é codificada conjuntamente com o contexto do contorno. Um encoder condicional transforma a geometria da sala e sua relação com o contorno em tokens discretos (z_ri).
3. Vocabulário Unificado: Os códigos dos contornos e das salas são mapeados para embeddings treináveis, criando um vocabulário unificado que inclui tokens de texto e tokens espaciais. Isso permite que o LLM "leia" e "escreva" geometria como se fosse linguagem.

B. Alinhamento Multimodal e Ajuste de Instrução (Instruction Tuning)

O modelo é treinado em três etapas progressivas sobre uma base de LLM (Qwen3-0.6B):

1. Inicialização de Embedding: Os códigos espaciais do VQ-VAE são integrados ao vocabulário do LLM, estabelecendo correspondência entre símbolos espaciais e textuais.
2. Pré-treinamento Multimodal: O modelo aprende a prever o próximo token em sequências mistas de texto e tokens espaciais, alinhando descrições linguísticas com estruturas geométricas.
3. Ajuste Supervisionado (SFT): O modelo é refinado com dados instrucionais para realizar três tarefas principais em uma única sequência:
   • Compreensão: Inferir funções, relações espaciais e topologia a partir de uma planta existente.
   • Geração: Sintetizar um layout completo e coerente a partir de um prompt de texto e um contorno.
   • Edição: Modificar seletivamente partes de uma planta existente seguindo instruções naturais, mantendo a lógica global.

3. Principais Contribuições

1. Raciocínio em Nível de Instância de Sala: Ao usar tokens discretos para cada sala, o modelo permite controle granular sobre a estrutura espacial e a composição semântica, superando a abordagem puramente visual.
2. Formulação de Tarefa Unificada: O mesmo modelo executa compreensão, geração condicional e edição localizada dentro de um único framework de modelagem de sequência, garantindo consistência entre as tarefas.
3. Eficiência e Implantação Local: A arquitetura compacta permite inferência em tempo real e implantação em dispositivos locais (ex: uma única GPU), tornando-a viável para uso prático em design arquitetônico.
4. Benchmarks Unificados: Os autores criaram o primeiro benchmark unificado que avalia simultaneamente compreensão, geração e edição de plantas baixas, utilizando o dataset RPLAN.

4. Resultados Experimentais

Os experimentos foram conduzidos no dataset RPLAN, comparando o HouseMind com modelos de ponta (LLaVA, Qwen-VL, ChatHouseDiffusion, FloorPlan-LLaMA, etc.).

• Compreensão (Understanding): O HouseMind alcançou taxas de sucesso e correspondência de salas próximas a 100% (RMR: 0.998), superando significativamente os modelos de visão-linguagem existentes. Reduziu o erro médio de área de salas de vários metros quadrados para menos de 0,6 m² e melhorou a precisão de adjacência em mais de 40 pontos percentuais.
• Geração (Generation): O modelo superou os baselines em métricas de pixel (IoU Micro: 0.709 vs 0.589 do ChatHouseDiffusion) e métricas de grafo (Node F1: 0.994). Demonstrou maior fidelidade geométrica e consistência topológica, gerando layouts que respeitam estritamente o contorno fornecido.
• Edição (Editing): O HouseMind-E e HouseMind-O mostraram precisão superior na modificação de layouts (∆IoU: 0.608), mantendo a integridade estrutural e semântica, enquanto modelos de edição de imagem genéricos frequentemente introduziam elementos irrelevantes ou quebravam a topologia.
• Eficiência: O tempo de inferência foi de aproximadamente 2-3 segundos por amostra, muito inferior aos minutos exigidos por modelos de difusão ou grandes LLMs visuais.

5. Significado e Impacto

O HouseMind representa uma mudança de paradigma na IA para arquitetura:

• Da Geração Visual para o Raciocínio Estrutural: Ao tratar layouts como sequências de tokens semânticos e geométricos, o modelo transcende a simples reconstrução de pixels, permitindo um raciocínio espacial profundo e controlável.
• Viabilidade Prática: A capacidade de operar localmente e com baixa latência abre caminho para a integração de IA generativa diretamente no fluxo de trabalho de arquitetos, permitindo iteração rápida e co-design interativo.
• Fundação para Co-design: O trabalho estabelece a tokenização como um mecanismo chave para conectar LLMs com inteligência de design espacial, pavimentando o caminho para sistemas futuros que integram layout, estrutura e desempenho energético de forma unificada.

Em resumo, o HouseMind demonstra que a tokenização de espaços físicos permite que modelos de linguagem compreendam, gerem e editem plantas arquitetônicas com uma coerência, controle e eficiência sem precedentes.