GaLa: Hypergraph-Guided Visual Language Models for Procedural Planning

Título: GaLa: Modelos de Linguagem Visual Guiados por Hipergrafos para Planejamento Procedural

1. O Problema

O planejamento procedural em sistemas de IA corporificada (embodied AI) envolve decompor comandos linguísticos de alto nível em sequências precisas de ações para executar tarefas no mundo real. Embora os Modelos de Linguagem Visual (VLMs) tenham avançado, as abordagens existentes apresentam limitações críticas:

• Dependência Excessiva de Raciocínio Explícito: Os modelos atuais dependem demais das capacidades de raciocínio espacial inerentes aos VLMs, ignorando informações semânticas estruturadas que podem ser extraídas dos dados multimodais.
• Falta de Estrutura Semântica Profunda: Eles operam principalmente em representações espaciais explícitas (como caixas delimitadoras ou coordenadas), falhando em capturar:
  1. Relações Espaciais Implícitas: Relações funcionais baseadas em atributos de objetos (ex: "pode ser colocado em", "é suportado por") que não são codificadas geometricamente.
  2. Semântica Hierárquica de Regiões: A organização funcional de grupos de objetos (ex: "área de jantar", "cozinha") raramente é modelada de forma estruturada.
• Consequência: Isso leva a uma compreensão da cena reduzida a objetos isolados, resultando em comportamentos de planejamento subótimos, como ações repetitivas, oscilatórias ou falhas lógicas em contextos ambíguos.

2. Metodologia: O Framework GaLa

O GaLa propõe um framework que introduz uma representação baseada em hipergrafos como uma abstração semântica intermediária entre a visão e a linguagem. O pipeline consiste em três etapas principais:

A. Construção de Semântica de Hipergrafo (Step 1)

• Nós (Objetos): Instâncias de objetos são detectadas a partir de imagens (usando YOLO-World), representadas por posição, rótulo de categoria e descrição textual de atributos.
• Hiperarestas (Regiões Funcionais): Utiliza-se um algoritmo de clustering espacial (DBSCAN) para agrupar objetos coesos espacialmente. Um Grande Modelo de Linguagem (LLM) infere rótulos semânticos de nível de área (ex: "Cozinha") baseados nos objetos agrupados.
• Pontuação de Atributos: O LLM avalia se os atributos dos objetos são normais ou contrafactuais (estados anormais), gerando um score de confiabilidade.

B. Codificador de Hipergrafo Tri-Vista (Tri-View HyperGraph Encoder) (Step 2)
Para integrar esse conhecimento estruturado ao VLM, o GaLa utiliza um mecanismo de aprendizado contrastivo para garantir consistência semântica em três vistas complementares:

1. Vista de Nó (Node-view): Foca na semântica individual de cada objeto.
2. Vista de Área (Area-view): Foca na semântica das regiões funcionais (hiperarestas).
3. Vista de Associação (Node-Area Association): Foca na relação de pertinência entre objetos e regiões.

• Mecanismo: O modelo aplica mascaramento aleatório e contrasta as representações das vistas aumentadas usando a perda InfoNCE. Isso força o modelo a aprender representações robustas que preservam tanto a semântica de baixo nível (objetos) quanto a estrutura de alta ordem (relações e regiões).

C. Treinamento e Inferência (Step 3)

• O conhecimento do hipergrafo refinado é injetado no VLM (backbone InternVL3) junto com as entradas visuais e instruções de tarefa.
• O modelo utiliza um processo de Cadeia de Pensamento (Chain-of-Thought) para refinar a semântica do hipergrafo antes de prever a próxima ação, melhorando a coerência espacial e lógica.

3. Contribuições Principais

1. Primeiro Framework com Estrutura de Hipergrafo em VLMs: Introduz informações semânticas estruturadas via teoria dos grafos em arquiteturas de planejamento procedural baseadas em VLMs.
2. Codificador de Semântica de Hipergrafo: Um módulo que transforma informações visuais em um hipergrafo rico em semântica, elevando relações espaciais implícitas a uma forma explícita e amigável para raciocínio.
3. Codificador Tri-Vista com Aprendizado Contrastivo: Uma nova abordagem para garantir que a estrutura do hipergrafo (nós, arestas e associações) seja totalmente preservada e transmitida eficazmente para o raciocínio do VLM.

4. Resultados Experimentais

O GaLa foi avaliado nos benchmarks ActPlan-1K (focado em planejamento multimodal com cenários contrafactuais) e ALFRED (tarefas de ambiente corporificado).

• Desempenho Geral: O GaLa superou significativamente os métodos existentes (incluindo GPT-4o, Gemini-Pro, LLaVA, InternVL e modelos especializados como LLaPa) em todas as métricas:
  • Taxa de Execução (Executability): 55.1% (ActPlan-1K contrafactual) e 89.9% (ALFRED).
  • Semelhança de Sequência (LCS): 0.59 (ActPlan-1K) e 0.67 (ALFRED).
  • Correção da Tarefa (Correctness): 37.2% (ActPlan-1K) e 50.1% (ALFRED).
• Estudos de Ablação:
  • A remoção da construção do hipergrafo ("w/o Hyper") causou quedas significativas no desempenho, confirmando que a modelagem explícita de relações implícitas é crucial.
  • A remoção das perdas contrastivas individuais (nós, arestas ou associação) também degradou o desempenho, validando a eficácia da estratégia "Tri-View".

5. Significado e Conclusão

O trabalho GaLa demonstra que o planejamento procedural em ambientes complexos não deve depender apenas do raciocínio bruto do VLM sobre pixels e coordenadas. Ao introduzir uma camada intermediária de abstração estruturada (hipergrafo), o framework consegue:

• Capturar relações funcionais e espaciais implícitas que os modelos puramente baseados em texto ou coordenadas ignoram.
• Fornecer um contexto semântico mais rico, mitigando falhas de planejamento causadas por representações de cena ambíguas.
• Estabelecer um novo paradigma para a integração de conhecimento estruturado em sistemas de IA corporificada, permitindo que agentes executem tarefas com maior precisão espacial e coerência lógica.

Em suma, o GaLa valida que a exploração explícita de estruturas semânticas profundas em imagens é fundamental para o avanço robusto do planejamento procedural em IA.