Tacit Knowledge Extraction via Logic Augmented Generation and Active Inference

Resumo Técnico: Extração de Conhecimento Tácito via Geração Aumentada por Lógica e Inferência Ativa

Declaração do Problema
O conhecimento procedimental—saber como realizar tarefas—é central para a expertise humana em domínios como manufatura, reparo e montagem. No entanto, esse conhecimento é frequentemente "tácito", dependendo de pressupostos implícitos, habilidades corporificadas, restrições contextuais e julgamentos baseados em experiência que raramente são documentados. Embora Grafos de Conhecimento (KGs) e ontologias ofereçam um quadro para representações interpretáveis por máquinas, os pipelines de extração atuais enfrentam duas limitações críticas:

1. Incompletude: Eles capturam principalmente informações explicitamente declaradas ou observáveis, falhando em representar as ferramentas implícitas, pré-requisitos e restrições necessários para uma execução bem-sucedida.
2. Confiabilidade: A geração de Modelos de Linguagem de Grande Porte (LLMs) sem restrições frequentemente introduz alucinações, esquemas inconsistentes e entidades não suportadas, tornando os grafos resultantes difíceis de validar ou raciocinar.

Metodologia
Os autores propõem um quadro neuro-simbólico que integra Geração Aumentada por Lógica (LAG) com uma estratégia inspirada na Inferência Ativa para construir Grafos de Conhecimento fundamentados em ontologias a partir de fontes instrucionais (vídeos e transcrições).

1. Ontologia de Referência: O sistema utiliza uma ontologia personalizada projetada para modelar fluxos de trabalho procedimentais. As classes principais incluem Processo, Etapa, Operação, Artefato, Ferramenta, Objetivo e Conteúdo. A ontologia impõe tipagem estrita e relações sequenciais (por exemplo, próximaEtapa, etapaAnterior) e preserva links de proveniência para mídias de origem.
2. Pipeline de Geração Aumentada por Lógica (LAG):
   • Entrada: Vídeos instrucionais ou suas transcrições de ASR.
   • Restrição: O LLM é guiado por uma ontologia de referência e prompts específicos para gerar apenas asserções em Resource Description Framework (RDF) que instanciam o esquema-alvo.
   • Validação: Os grafos gerados são validados contra a ontologia usando restrições SHACL para garantir validade estrutural e a ausência de classes ou propriedades indefinidas.
   • Saída: Um arquivo Turtle validado carregado em um repositório de triplas GraphDB.
3. Enriquecimento Inspirado na Inferência Ativa:
   • Para abordar a incompletude do LAG (especialmente quando pistas visuais estão ausentes em modos apenas de transcrição), aplica-se uma segunda fase de raciocínio.
   • Mecanismo: Apropriando-se de conceitos da teoria da Inferência Ativa (observação, inferência de estado oculto, reconstrução de política e raciocínio sobre affordances), o LLM é solicitado a inferir "estados ocultos" necessários para que as ações observadas sejam fisicamente possíveis.
   • Alvos de Inferência: O modelo identifica ferramentas implícitas, artefatos, restrições contextuais, avisos e crenças prévias (por exemplo, inferir que "apertar um parafuso" implica o uso de uma chave de fenda compatível).
   • Rastreabilidade: Cada elemento inferido recebe uma justificativa (o script ou padrão procedimental utilizado) e uma pontuação de confiança, distinguindo o conhecimento tácito inferido pelo modelo dos dados explicitamente observados.

Principais Contribuições

• Quadro Neuro-Simbólico: Uma arquitetura inovadora que combina LAG para extração restrita por esquema e Inferência Ativa para enriquecimento de conhecimento implícito.
• Design de Ontologia: Uma ontologia específica de domínio capaz de representar fluxos de trabalho procedimentais, proveniência multimodal e a distinção entre operações explícitas e restrições tácitas.
• Protocolo de Avaliação: Uma configuração rigorosa de benchmarking usando vídeos de reparo industrial (do iFixit) como proxy para montagem de manufatura, avaliando modelos heterogêneos (proprietários, de código aberto, multimodais) em cenários baseados em transcrição e baseados em visão.

Resultados Experimentais
O quadro foi avaliado em três procedimentos de reparo (iPhone 11, Google Pixel 6a, Sega Game Gear) usando modelos incluindo Gemini 3.1 Pro, Gemini 2.5 Flash, Claude Opus 4.6, GPT-5.2 e Gemma 4 31b-it.

• Conformidade com a Ontologia: Todos os modelos produziram grafos estruturalmente válidos com aderência perfeita ao esquema de referência, confirmando a eficácia do LAG na prevenção de classes ou propriedades alucinadas.
• Precisão vs. Revocação:
  • Precisão: Permaneceu perfeita (1,00) em todos os modelos para extração de ferramentas e artefatos sob o quadro LAG, indicando nenhuma geração de entidades não suportadas.
  • Revocação (apenas LAG): Modelos baseados em transcrição mostraram lacunas significativas (0,50–0,81) devido à falta de informações visuais. Modelos baseados em visão performaram melhor, mas ainda perderam elementos implícitos (por exemplo, a revocação do Gemini 3.1 Pro para artefatos foi de 0,59).
• Impacto da Inferência Ativa: A estratégia de enriquecimento melhorou significativamente a revocação sem comprometer a precisão.
  • Modelos baseados em transcrição: A revocação aumentou em +0,21 a +0,38 para ferramentas e +0,19 a +0,41 para artefatos.
  • Modelos baseados em vídeo: Mostraram ganhos mais modestos em geral, embora o Gemini 3.1 Pro tenha visto um aumento de +0,34 na revocação para artefatos.
  • Desempenho Final: Após o enriquecimento, todos os modelos alcançaram pontuações F1 acima de 0,95. O melhor desempenho geral foi alcançado pelo Gemini 2.5 Flash no modo baseado em vídeo (F1: 0,989 para ferramentas, 0,994 para artefatos).
• Eficiência de Custos: O Gemini 2.5 Flash emergiu como a solução mais custo-efetiva, oferecendo o maior desempenho com um custo de pipeline completo de US$ 5,18/hora, significativamente mais barato do que modelos proprietários maiores como o Claude Opus 4.6.

Significado e Alegações
O artigo alega que essa abordagem avança a engenharia de conhecimento neuro-simbólica para domínios industriais, resolvendo o duplo desafio da validade estrutural e da completude procedimental. Ao separar explicitamente o conhecimento observado do conhecimento tácito inferido, o quadro permite a formalização de expertise que tradicionalmente é difícil de capturar.

Os autores enfatizam que o sistema está atualmente sendo aplicado no projeto KnowledgeX para transferência de conhecimento do mundo real na manufatura, especificamente para suportar ambientes de realidade aumentada para treinamento de operadores. Eles notam modestamente que, embora a qualidade da extração seja alta, a validação final da "ação" das instruções para operadores humanos requer futuros estudos com usuários. O trabalho demonstra que combinar restrições lógicas com enriquecimento orientado por inferência permite a criação de grafos de conhecimento procedimental de alta qualidade e interpretáveis por máquinas que fecham a lacuna entre documentação explícita e expertise implícita.