Resumo Técnico: Ishigaki-IDS

Declaração do Problema

Projetos de Modelagem da Informação da Construção (BIM) exigem que os requisitos de informação sejam formalizados como arquivos de Especificação de Entrega de Informação (IDS) verificáveis por máquina. Esses arquivos, baseados em um esquema XML, definem quais elementos em um modelo IFC (Industry Foundation Classes) devem satisfazer condições específicas de propriedade e valor. No entanto, a autoria de arquivos IDS permanece um gargalo prático significativo. Os profissionais devem gerenciar simultaneamente vocabulários de domínio complexos (entidades IFC), restrições rigorosas de esquema XML, conformidade com validadores externos (ex: via IDSAuditTool) e a correção semântica dos próprios requisitos.

Os Grandes Modelos de Linguagem (LLMs) atuais têm dificuldade com essa tarefa porque gerar XML sintaticamente válido é insuficiente; o resultado também deve alinhar-se ao padrão IDS, mapear corretamente para os vocabulários IFC e passar por ferramentas de validação externas. As abordagens existentes frequentemente falham em produzir artefatos que sejam "carregáveis pelo validador", forçando os profissionais a realizar extensas correções de baixo nível em XML e correções de esquema antes que o rascunho possa ser revisado.

Metodologia: Adaptação Multi-estágio Consciente do Verificador

O artigo apresenta o Ishigaki-IDS, um LLM de pesos abertos especializado na geração de rascunhos de IDS. O modelo é construído sobre a arquitetura Qwen3 e adaptado através de um pipeline de três estágios projetado para satisfazer tanto as restrições estruturais quanto o alinhamento semântico:

1. Pré-treinamento Continuado (CPT): O modelo base é adaptado ao domínio BIM/IFC/IDS usando um corpus misto de aproximadamente 0,5 bilhão de tokens. Este conjunto de dados inclui esquemas IFC, especificações IDS, documentos técnicos e exemplos públicos de IDS, misturados com dados de domínio geral (FineWeb2) para evitar o esquecimento catastrófico. O objetivo é alinhar a distribuição do modelo com o vocabulário específico do domínio e as estruturas XML.
2. Ajuste Fino Supervisionado (SFT): O modelo aprende o mapeamento de requisitos de informação em linguagem natural ou baseados em CSV para rascunhos de IDS. Os dados de treinamento consistem em cerca de 4.000 pares construídos através da extração de facetas de arquivos IDS válidos e curados por especialistas e a paráfrase destes em descrições de requisitos. Esses pares são filtrados por concordância semântica e aprovação no validador.
3. Aprendizado por Reforço com Recompensas Verificáveis (RLVR): Este estágio ajusta ainda mais a política usando recompensas derivadas de um verificador externo. Para cada entrada, o modelo gera múltiplos rascunhos candidatos. Uma função de recompensa combina:
   • Portão de Auditoria (Audit Gate): Um sinal binário do IDSAuditTool indicando se o rascunho passa tanto nos testes de estrutura quanto de conteúdo.
   • Alinhamento de Faceta: Uma pontuação FacetF1 que mede o alinhamento semântico entre o rascunho gerado e o IDS padrão ouro.
   • A recompensa é zero se a extração falhar ou se o portão de auditoria não for passado, garantindo que o modelo priorize a geração de artefatos em conformidade com o validador antes de otimizar a nuance semântica. A otimização utiliza Group Relative Policy Optimization (GRPO) com uma restrição KL.

Principais Contribuições

• Ishigaki-IDS-8B: O lançamento de um modelo de pesos abertos (disponível no Hugging Face sob CC BY 4.0) capaz de gerar rascunhos de IDS a partir de requisitos de informação BIM que são frequentemente carregáveis por validadores padrão.
• Adaptação Multi-estágio Consciente do Verificador: Uma receita de adaptação inovadora combinando CPT de domínio, SFT de requisito-para-IDS e RLVR com recompensas verificáveis (IDSAuditTool + FacetF1) especificamente adaptada para a geração estruturada restrita no domínio AEC.
• Evidência Empírica: Avaliação abrangente no Ishigaki-IDS-Bench (166 casos criados por especialistas) e uma verificação de fluxo de trabalho com seis profissionais de BIM, demonstrando melhorias significativas nas taxas de aprovação do validador e na eficiência do fluxo de trabalho.

Resultados

O modelo foi avaliado no Ishigaki-IDS-Bench, um conjunto de dados curado de 166 casos cobrindo vários formatos de entrada (linguagem natural, CSV), idiomas (Inglês, Japonês) e versões de IFC.

• Aprovação do Validador (IDSAuditPass): O Ishigaki-IDS-8B alcançou uma pontuação de IDSAuditPass de 0,651 (108/166 casos), superando substancialmente a base single-shot mais forte, o Claude Opus 4.5, que obteve 0,331.
• Escalabilidade: Variantes maiores (14B e 32B) mostraram novos progressos, com o modelo 14B atingindo um IDSAuditPass de 0,753.
• Alinhamento Semântico (AG-FacetF1): O modelo alcançou um Audit-Gated FacetF1 de 0,282 (8B) e 0,392 (14B), indicando que, entre os rascunhos que passaram na validação, uma parte significativa também se alinhou bem com as condições exigidas.
• Eficiência de Fluxo de Trabalho: Em uma verificação de fluxo de trabalho controlada com seis profissionais convertendo requisitos de CSV para IDS, o uso de rascunhos assistidos pelo Ishigaki reduziu o tempo agregado para atingir um ponto final de validação fixo (IDSAuditPass + FacetF1=1.0) em 54,7% em comparação com a criação manual no editor OpenAEC.

Significância e Escopo

O artigo postula que o principal valor do Ishigaki-IDS não é a substituição autônoma da revisão especializada, mas a redução da carga de trabalho de baixo nível. Ao deslocar o processo de autoria da reparação manual de XML/esquema para a geração de "rascunhos carregáveis pelo validador", o modelo permite que os profissionais foquem na verificação semântica de alto nível e na correção de conteúdo.

Os autores explicitam as limitações:

• Resíduos Semânticos: Embora o modelo reduza significamente as falhas estruturais (parsing de XML, violações de esquema), desalinhamentos semânticos (ex: seleção incorreta de entidade IFC) ainda ocorrem em rascunhos que passam no validador. A revisão especializada continua sendo necessária.
• Escopo de Avaliação: Os resultados baseiam-se em um benchmark específico e em um estudo de prática em pequena escala. O artigo não reivindica melhorias de produtividade generalizadas em todos os fluxos de trabalho AEC ou ambientes de produção de grande escala.
• Sem Autoria Autônoma: A contribuição é formulada como uma ferramenta para apoiar a fase de rascunho, entregando para especialistas para a auditoria final, em vez de um sistema de autoria totalmente autônomo.

Em resumo, o Ishigaki-IDS demonstra que a adaptação consciente do verificador pode efetivamente preencher a lacuna entre requisitos de linguagem natural e padrões de construção rigorosos e legíveis por máquina, tornando o processo de autoria de IDS mais acessível e eficiente para profissionais do setor.