Resumo Técnico: Extração Estruturada e Reconstrução Padronizada de Documentos de Processos de Usinagem Baseada em Modelo de Linguagem de Visão sob Restrições de Baixo Recurso

1. Definição do Problema

Documentos de processos de usinagem são ativos críticos para o acúmulo de conhecimento na manufatura inteligente, contendo dados essenciais sobre sequências de processamento, parâmetros, equipamentos e ferramentas. No entanto, sua gestão enfrenta três desafios principais:

• Alta Heterogeneidade: Os documentos existem em diversos formatos (cópias digitalizadas, PDFs, arquivos Word, fotos de campo) com layouts complexos e inconsistentes e terminologias variadas.
• Inconsistência Semântica: A iteração contínua de produtos e revisões de especificações levam a nomes de campos inconsistentes e ambiguidade semântica, dificultando a gestão padronizada.
• Restrições de Recursos e Confidencialidade: A estrita confidencialidade de dados empresariais impede a aquisição de dados rotulados dessensibilizados suficientes, tornando ineficazes os métodos tradicionais baseados em dados (que exigem conjuntos de dados anotados em larga escala). Além disso, os modelos discriminativos multimodais existentes frequentemente carecem de robustez contra mudanças de layout e carecem de mecanismos de verificação de colaboração homem-máquina.

2. Metodologia

Os autores propõem um framework de processamento integrado baseado em Modelos de Linguagem de Visão (VLMs) que opera sob restrições de baixo recurso sem exigir o ajuste fino (fine-tuning) do modelo ou grandes volumes de dados rotulados. O framework consiste em três módulos sequencialmente acoplados:

2.1 Extração Estruturada via Prompting CEVF

Para abordar a alucinação cross-modal e a confiabilidade da extração, os autores introduzem um mecanismo de prompting de Feedback de Verificação de Exemplo de Restrição (CEVF). Este fluxo de trabalho iterativo inclui:

• Camada de Restrição: Restrições de JSON Schema predefinidas limitam o espaço de saída do modelo aos campos principais (ex: basic_info, process_steps, approval_info) com definições estritas de tipo e formato.
• Camada de Exemplo: Uma estratégia de prompting "one-shot" fornece um documento típico e sua saída estruturada para guiar o modelo, equilibrando a eficiência do contexto com paradigmas de extração claros.
• Verificação e Feedback Iterativo: As saídas passam por verificação multidimensional baseada em regras (completude, intervalo, formato, lógica). Se a verificação falhar, instruções de feedback estruturado disparam a reextração. Este loop executa até três vezes.
• Avaliação de Confiança: Uma estratégia de duas dimensões calcula uma pontuação de confiança abrangente ($S_f$) combinando a probabilidade de token interna do VLM e as pontuações de verificação baseadas em regras externas. Um coeficiente de decaimento iterativo ($\gamma = 0.95$) é aplicado para reduzir a confiança de campos que exigem múltiplas rodadas de correção, sinalizando-os para revisão manual se caírem abaixo de limiares adaptativos.

2.2 Alinhamento Semântico e Padronização de Campos

Para resolver a nomenclatura inconsistente de campos (ex: "número da peça" vs. "número do desenho"), uma estratégia de alinhamento adaptativo é empregada:

• Embedding Semântico: Os nomes de campos extraídos originais e os campos padrão da empresa são codificados usando Sentence-BERT para gerar vetores de 7agens 768 dimensões. A similaridade de cosseno quantifica a proximidade semântica.
• Colaboração com Base de Conhecimento de Domínio: Para similaridades abaixo de um limiar (0.85), uma base de conhecimento leve de usinagem é consultada para resolver ambiguidades.
• Aprendizado Incremental: Mapeamentos verificados manualmente são atualizados incrementalmente na base de conhecimento, reduzindo a intervenção manual futura sem necessidade de retreinamento offline.

2.3 Reconstrução de Documentos Padronizados

O módulo final gera documentos de processo conformes a partir de dados estruturados, formalizados como um Problema de Satisfação de Restrições (CSP):

• Alinhamento de Coordenadas de Placeholder: O método utiliza placeholders semânticos e um Modelo de Objeto de Documento (DOM)/Grafo de Restrição de Layout (LCG) para mapear dados estruturados a um template padrão.
• Adaptação Dinâmica de Layout: Para tabelas de processo de comprimento variável, uma estratégia de expansão dinâmica de linhas anexa automaticamente linhas com base na quantidade total de processos, herdando estilos de template para garantir consistência de formatação.
• Restauração de Imagem: Enquanto o VLM extrai texto, as ilustrações de processo são restauradas convertendo os arquivos originais em imagens e inserindo-as em posições de placeholder designadas no novo documento para manter a integridade.

3. Principais Contribuições

1. Framework Integrado: Um pipeline de ciclo fechado para extração estruturada, alinhamento semântico e reconstrução padronizada que opera sem grandes volumes de dados rotulados ou ajuste fino de modelo, adequado para cenários de alta confidencialidade.
2. Mecanismo de Prompting CEVF: Um método inovador que incorpora restrições, exemplos one-shot e feedback iterativo para suprimir efetivamente as alucinações do VLM e melhorar a confiabilidade da extração.
3. Reconstrução de Alinhamento Dual-Modal: Um método de geração de documentos que funde embedding semântico com conhecimento de domínio e utiliza alinhamento de coordenadas de placeholder para lidar com nomenclatura de campos heterogênea e gerar layouts conformes para cenários complexos (ex: tabelas de múltiplas páginas, scans borrados).

4. Resultados Experimentais

Experimentos foram conduzidos em 20 cartões de processo reais dessensibilizados (cobrindo peças de eixos e engrenagens) com níveis variados de qualidade (de claro a moderadamente degradado). O método proposto foi comparado contra um baseline (PaddleOCR-VL 1.5) e estudos de ablação dos componentes CEVF.

• Desempenho de Extração: O framework CEVF completo alcançou uma Acurácia de Campo (FA) de 88,90% e reduziu a Taxa de Alucinação (HR) para 6,50%, superando significativamente o baseline (FA: 45,50%, HR: 38,06%) e a variante apenas com restrições.
• Conformidade de Formato: A Taxa de Conformidade de Formato (FCR) atingiu 99,40%, demonstrando alta adesão aos padrões de layout industrial.
• Alinhamento Semântico: A estratégia colaborativa reduziu as taxas de desvio semântico de 10,6% (modelo semântico puro) para 0,9% com a base de conhecimento atualizada dinamicamente.
• Eficiência: O tempo de processamento average foi de 62,73 segundos para casos complexos, mas caiu para ~25 segundos para documentos de baixa complexidade e alta definição, quase três vezes mais rápido que os métodos tradicionais.
• Robustez: O sistema lidou com sucesso com páginas inclinadas, manchas e tabelas de múltiplas páginas. Um limite de colaboração homem-máquina foi definido, onde campos de baixa confiança são destacados para revisão guiada, enquanto documentos severamente degradados disparam intervenção manual.

5. Significância e Alegações

O artigo afirma fornecer um caminho técnico prático e viável para a digitalização e padronização do conhecimento de processos de usinagem sob ambientes de recursos limitados e alta confidencialidade. Ao aproveitar as capacidades de generalização dos VLMs e reforçá-las com verificação baseada em regras e conhecimento de domínio, o método proposto:

• Quebra a limitação unidirecional dos métodos tradicionais que dependem exclusivamente da conversão de documentos em dados estruturados.
• Reduz a dependência de dados anotados em larga escala, tornando-o viável para empresas com requisitos estritos de privacidade de dados.
• Permite a geração automática de documentos de processo padronizados a partir de fontes heterogêneas, facilitando a herança de conhecimento, otimização de processos e controle de qualidade na manufatura inteligente.

Os autores concluem que, embora o método aborde efetivamente os gargalos atuais, o trabalho futuro se concentrará em migrar o framework para outros tipos de documentos industriais e introduzir aprendizado incremental para a evolução dinâmica da base de conhecimento.