Resumo Técnico: DiagnosticIQ

Declaração do Problema

A manutenção de ativos industriais depende de regras simbólicas elaboradas por engenheiros que são acionadas com base em condições de sensores para desencadear ações corretivas. Embora os sistemas de monitoramento automatizado detectem anomalias de forma eficaz ao avaliar essas regras contra dados de sensores, existe um gargalo crítico na etapa de regra para ação: traduzir uma condição simbólica acionada em uma ação de manutenção específica e adequada ao ativo. Essa tradução exige conhecimento profundo e específico do ativo sobre modos de falha, geralmente adquirido através de anos de experiência prática, o que frequentemente excede a expertise dos operadores que recebem os alertas.

O artigo postula que Modelos de Linguagem de Grande Escala (LLMs) poderiam servir como suporte à decisão para essa etapa. No entanto, a avaliação sistemática tem sido impedida pela falta de benchmarks realistas e padronizados que distingam entre raciocínio genuíno sobre condições industriais e correspondência de padrões superficiais. Os benchmarks existentes frequentemente focam no reconhecimento de falhas ou na associação de falha de sensores, em vez da decisão subsequente de qual ação tomar uma vez que uma falha é detectada.

Metodologia

O Benchmark DiagnosticIQ

Os autores introduzem o DiagnosticIQ, um conjunto de benchmarks composto por 6.690 questões de múltipla escolha (MCQs) validadas por especialistas, derivadas de 118 pares regra-ação elaborados por especialistas em 16 tipos heterogêneos de ativos industriais (por exemplo, Unidades de Tratamento de Ar, Chillers, Caldeiras).

Pipeline de Construção do Conjunto de Dados:

1. Entrada: Documentos de regras curados por especialistas contendo condições lógicas (predicados temporais, limites de sensores), ações de manutenção e metadados.
2. Normalização: As regras são convertidas em Forma Normal Disjuntiva (DNF). Isso expande uma única regra em múltiplos cenários de acionamento logicamente válidos (conjunções), garantindo a cobertura de estados operacionais distintos em vez de um único exemplo abstrato.
3. Geração de Questões: Dois tipos de questões complementares são gerados:
   • Seleção: Identificar a ação de manutenção correta dada uma condição acionada.
   • Eliminação: Identificar uma ação que não é suportada pela condição.
4. Amostragem de Distratores: Os distratores não são aleatórios; são amostrados usando similaridade baseada em embeddings a partir de regras da mesma família de ativos, mas com condições lógicas diferentes. Isso garante que os distratores sejam "operacionalmente adjacentes" (plausíveis, mas incorretos) em vez de semanticamente distantes.
5. Contexto: As questões incluem descrições de ativos para ancorar o raciocínio em configurações específicas (por exemplo, bombas horizontais vs. verticais).

Variantes para Avaliação Direcionada

Para investigar modos de falha específicos, os autores construíram cinco variantes:

• DiagnosticIQ Pro: Expande as opções de 4 para 10 para testar a discriminação entre distratores plausíveis.
• DiagnosticIQ Pert: Perturba formas superficiais (ordenação, redação) para testar a robustez contra vieses de formatação.
• DiagnosticIQ Verbose: Parafraseia condições simbólicas em linguagem natural para medir a lacuna simbólica-linguística.
• DiagnosticIQ Aug: Inverte operadores lógicos (por exemplo, < para >) para testar se os modelos dependem de modelos de regras em vez de avaliar o conteúdo lógico.
• DiagnosticIQ Rationale: Coleta explicações de cadeia de pensamento para validação por especialistas.

Configuração Experimental

O estudo avalia 29 LLMs (abrangendo 9 famílias, incluindo modelos fechados de ponta e modelos de peso aberto) e 4 baselines de embedding. A avaliação inclui prompting zero-shot, experimentos de ajuste fino (SFT e GRPO) e uma avaliação humana com 9 profissionais de engenharia para validar a dificuldade do benchmark.

Principais Resultados

1. Desempenho de Ponta e Fragilidade

• Melhor Desempenho: O modelo líder, claude-opus-4-6, alcança 73,59% de precisão Macro no DiagnosticIQ base. Os três melhores modelos (claude-opus-4-6, gpt-5.4, gemini-3.1-pro-pre) agrupam-se dentro de um ponto Macro um do outro.
• Fragilidade sob Estresse: O desempenho cai significativamente sob estresse:
  • DiagnosticIQ Pro: O líder cai 13,8 pontos (para 59,81%) quando as opções são expandidas para 10.
  • DiagnosticIQ Pert: Os principais modelos mostram apenas ~48% de consistência quando a formulação da questão é perturbada.
  • DiagnosticIQ Aug (Inversão Lógica): Quando os operadores lógicos são invertidos, o líder seleciona a resposta original (agora incorreta) 63,4% das vezes, indicando uma dependência de reconhecimento da forma da regra em vez de avaliação lógica.
  • DiagnosticIQ Verbose: Parafrasear condições simbólicas em linguagem natural causa uma queda média de precisão de 4,2 pontos, revelando uma dependência da estrutura simbólica como andaime de raciocínio.

2. Comparação com Benchmarks Gerais

Embora os modelos de ponta tenham avançado significativamente em benchmarks de ciência geral como o GPQA Diamond (avançando ~19 pontos), seu progresso no DiagnosticIQ está estagnado (avançando apenas ~8 pontos). A lacuna entre o raciocínio geral e o raciocínio de manutenção industrial ampliou-se, sugerindo que as otimizações pós-treinamento para ciência geral não se transferem limpa para a avaliação de regras industriais.

3. Modos de Falha e Padrões

• Correspondência de Padrões vs. Raciocínio: A análise da variante DiagnosticIQ Aug revela que os modelos tratam regras industriais estruturadas como modelos a serem reconhecidos, em vez de condições a serem avaliadas.
• Sensibilidade a Distratores: Sob expansão de distratores, muitos modelos (incluindo os ajustados para raciocínio como o1) recorrem à similaridade lexical. A melhor baseline de embedding (all-mpnet-base-v2) supera 14 dos 29 LLMs no DiagnosticIQ Pro.
• Previsores de Dificuldade: A regressão logística mostra que contagens de funções especiais (operações aritméticas/comparação) são o preditor mais forte de falha, reduzindo as chances de correção em 47% por operação. Contra-intuitivamente, maior complexidade lógica (mais cláusulas) ajuda ligeiramente a precisão, provavelmente ao fornecer andaime estrutural.

4. Avaliação Humana

Um painel de 9 profissionais de engenharia alcançou uma precisão média de 45,0% em um subconjunto de 40 questões. Notavelmente, profissionais com experiência relatada nas classes de ativos relevantes (AHU, Chillers) não superaram significativamente a média geral, confirmando que o benchmark exige conhecimento diagnóstico especializado além da familiaridade operacional. LLMs de ponta superaram a média humana em várias questões onde nenhum profissional humano conseguiu identificar a resposta correta.

5. Impacto Operacional

Apesar das classificações de precisão, o modelo com o maior impacto operacional estimado (baseado em economias de energia de recomendações corretas) foi o gemini-3.1-pro-pre, e não o líder de precisão claude-opus-4-6. Isso sugere que, para implantação, modelos que são consistentemente corretos em regras de alto impacto podem ser preferíveis àqueles com precisão agregada marginalmente superior.

Significado e Alegações

O artigo afirma que o DiagnosticIQ é o primeiro benchmark a cobrir simultaneamente Especificidade de Ativos Industriais, Distratores de Opções, Compreensão de Condições e Recomendação de Ação.

O principal significado do trabalho é a revelação de um "arco de fragilidade" nos LLMs de ponta atuais. Embora os modelos possam alcançar alta precisão em tarefas padrão de manutenção industrial, eles exibem fragilidade significativa quando:

1. Os espaços de distratores se expandem.
2. O conteúdo lógico é invertido.
3. Estruturas simbólicas são parafraseadas em linguagem natural.

Os autores concluem que o gargalo de implantação para LLMs na manutenção industrial não é uma falta de capacidade, mas uma falta de calibração e robustez. Os modelos atuais tratam regras estruturadas como modelos a serem reconhecidos, em vez de condições a serem avaliadas. O benchmark fornece uma ferramenta necessária para distinguir entre raciocínio genuíno e correspondência de padrões superficiais, destacando que ganhos em benchmarks de conhecimento geral não garantem prontidão para implantação operacional de alto risco, onde a consistência em formulações e variações lógicas é não negociável.