Resumo Técnico: VEHBench

Definição do Problema

O projeto de colhedores de energia vibratória (VEHs) para dispositivos Internet das Coisas (IoT) sem bateria envolve interações mecânico-elétricas fortemente acopladas e restrições físicas rigorosas (ex: espectros de vibração, metas de potência, limites de tamanho, propriedades de materiais e margens de segurança). Embora os Grandes Modelos de Linguagem (LLMs) sejam cada vez mais utilizados como interfaces para fluxos de trabalho de engenharia — traduzindo requisitos, revisando feedbacks e propondo modificações de projeto — os benchmarks de engenharia existentes avaliam primariamente a validade do artefato final. Essas avaliações de ponto final falham em revelar como os LLMs se comportam através das distintas etapas de um fluxo de trabalho de projeto físico acoplado. Especificamente, os benchmarks atuais não diagnosticam se um modelo tria corretamente briefings incompletos, realiza edições delimitadas após o feedback físico, recupera-se de trajetórias de projeto corrompidas ou adere a políticas de seleção explícitas. Essa falta de diagnosticabilidade local por etapa torna difícil identificar falhas específicas de fluxo de trabalho (ex: erros de controle de entrada vs. falhas de busca) e dificulta a seleção ou roteamento de modelos para funções de engenharia específicas.

Metodologia

Os autores introduzem o VEHBench, um benchmark de diagnóstico nativo de engenharia projetado para avaliar o co-projeto de VEHs assistido por LLM através de tarefas baseadas em verificadores e locais por estágio.

Construção do Benchmark

• Domínio: O benchmark foca no co-projeto inicial de VEHs piezoelétricos em cantilever, um domínio compacto mas acoplado que envolve dinâmica estrutural, materiais inteligentes e design de circuitos.
• Fonte de Dados: As tarefas são derivadas de uma auditoria literária de 209 artigos, resultando em 52 "âncoras de projeto" limpas (estados físicos normalizados com variáveis, limites e restrições).
• Verificação: Um oráculo físico analítico (baseado na teoria da viga de Euler–Bernoulli de forma fechada e equações de acoplamento eletromecânico) computa a viabilidade e a qualidade do objetivo. Não são utilizadas etiquetas humanas ou "LLM-como-juiz" para pontuação.
• Decomposição de Tarefas: O fluxo de trabalho é decomposto em quatro papéis de design distintos (sondas), cada um com estados confiáveis específicos, ações admissíveis e consequências de falha:
  1. P1 (Triagem de Especificação): O modelo recebe um briefing de projeto (completo, ausente ou inviável) e deve decidir entre propor, abster-se ou solicitar informações ausentes.
  2. P2 (Busca Guiada por Verificador): Dado um projeto semente e o feedback do oráculo, o modelo realiza edições delimitadas para melhorar o candidato.
  3. P3 (Recuperação de Estado Corrompido): O modelo é exposto a uma trajetória de projeto corrompida ou enganosa e deve resetar, re-ancorar ou estabilizar para escapar da armadilha.
  4. P4 (Seleção Condicionada por Política): Dado um conjunto de candidatos viáveis, o modelo classifica ou seleciona com base em uma política de engenharia explícita (ex: priorizar potência vs. confiabilidade).

Estrutura de Avaliação

• Modelos: 12 execuções completas de modelos (incluindo Qwen, Gemini, DeepSeek, GPT, Hunyuan, etc.) foram avaliadas através de todos os 763 tarefas.
• Métricas:
  • Métricas Principais: P1-Composite (pontuação de certificação ponderada), P2 Final Feasible Power Ratio, P3-Success (viabilidade final após recuperação) e P4 Kendall $\tau_b$ (consistência de classificação).
  • Perfis Diagnósticos: Perfis de controle de resposta (Disciplina de Ação, Estilo de Edição, Condicionamento de Feedback, Esforço de Reset de Estado, Execução de Política) foram extraídos dos logs para mapear falhas a sinais comportamentais.
  • Famílias de Erro: Taxas de erro não exclusivas (ex: sobre-ação, fechamento inviável, falha pós-escape, incompatibilidade de política) foram calculadas para identificar modos de falha específicos.

Principais Contribuições

1. Estrutura de Benchmark (VEHBench): O primeiro benchmark de diagnóstico para design de VEH assistido por LLM que vai além da validade do artefato final para avaliar o comportamento de design local por estágio. Combina construção de tarefas fundamentadas na literatura, verificação analítica externa e avaliação específica por estágio.
2. Achados Empíricos e Interpretação: Os autores avaliaram sistematicamente os LLMs atuais e descobriram que a capacidade é fortemente dependente do estágio. Nenhum modelo domina todo o fluxo de trabalho. Eles introduziram uma estrutura que liga resultados empíricos a características comportamentais interpretáveis (ex: disciplina de ação, edição delimitada, recuperação de estado).
3. Orientação Consciente do Estágio: O artigo demonstra como resultados locais por estágio podem informar aplicações práticas de engenharia, incluindo seleção de modelos, roteamento e adaptação. Identifica lacunas de capacidade específicas (ex: triagem de especificação, recuperação de estado corrompido) para futuros agentes de engenharia.

Resultados Experimentais

• Classificações Dependentes de Estágio: Nenhum modelo lidera o fluxo de trabalho completo.
  • P1 (Triagem): qwen3-max teve o melhor desempenho ao equilibrar a disciplina de ação (suprimir entradas inseguras e falhas de informação ausente).
  • P2 (Busca): gemini-3.1-pro-preview liderou devido à alta taxa de fechamento viável e razões de potência úteis.
  • P3 (Recuperação): hunyuan-hy3-preview destacou-se em estabilizar após escapar de estados corrompidos.
  • P4 (Seleção): gpt-5.4 alcançou a maior execução de política e consistência de classificação.
• Modos de Falha:
  • P1: Os erros dominantes foram "sobre-ação" (propor quando os briefings são inviáveis) e "falhas de informação ausente", em vez de recusa excessiva.
  • P2: A maioria dos modelos conseguiu seguir protocolos de saída, mas falhou em fechar o loop de busca física (fechamento inviável) ou sofreu perda de utilidade.
  • P3: O principal gargalo não foi escapar da armadilha, mas estabilizar o estado posteriormente (falha pós-escape).
  • P4: As falhas foram primariamente "incompatibilidade de política" (falhar em executar as prioridades de engenharia declaradas) em vez de erros de processamento ou seleção de candidatos inviáveis.
• Intervenção e Roteamento:
  • Interface de Estado: Substituir o histórico bruto corrompido por um resumo de estado elaborado pelo verificador melhorou as taxas de recuperação de P3 (de 50,0% para 63,2% de média) e reduziu falhas em cascata.
  • Roteamento: Um roteador consciente do estágio (selecionando diferentes modelos para diferentes estágios) melhorou a pontuação normalizada média de hold-out de 0,892 (melhor fallback de modelo único) para 0,945, principalmente ao alternar para o especialista em P3.

Significância e Alegações

O artigo alega que a capacidade de LLM em design de engenharia é dependente do papel, e classificações agregadas são menos informativas do que a compatibilidade por estágio. O VEHBench fornece uma base para avaliar, selecionar, rotear e melhorar LLMs de engenharia baseados em verificadores, expondo onde o comportamento do fluxo de trabalho falha.

Os autores enfatizam que o VEHBench não é um substituto para simulações de Método de Elementos Finitos (FEM), revisões de manufatura ou certificação de hardware. Em vez disso, serve como uma camada de diagnóstico para determinar se um LLM utiliza sinais de validade física apropriadamente em cada estágio de design. O benchmark é limitado ao co-projeto de cantilever VEH analyticamente verificável, com os autores observando que o mesmo arcabouço pode ser instanciado para simuladores mais ricos e outros domínios acoplados. O trabalho argumenta que, para aplicações de engenharia, o foco deve mudar de "design de hardware autônomo" para "assistência local por estágio", onde os modelos são selecionados e roteados com base em seus perfis comportamentais específicos dentro do fluxo de trabalho de design.