Recovering Engineering-Change Traceability from Legacy CNC Work Orders: A Pydantic Schema and Few-Shot LLM Extraction Baseline

Imagine que você é um detetive tentando resolver um mistério, mas as pistas não estão organizadas em cartões de índice. Em vez disso, estão rabiscadas nas margens de recibos antigos e amassados, escritas em uma mistura de dois idiomas, e parte do papel foi roída por um cachorro faminto. Este é o mundo da Gestão de Mudanças de Engenharia (ECM). No jogo de alto risco de construir máquinas, as coisas raramente saem exatamente como planejado. Uma peça pode quebrar, uma regra pode mudar ou um material pode precisar ser substituído. Em fábricas grandes e sofisticadas, essas mudanças são rastreadas em enormes bancos de dados digitais que atuam como arquivos perfeitamente organizados. Mas em oficinas menores, o "histórico" dessas mudanças muitas vezes vive em notas minúsculas e bagunçadas deixadas pelos trabalhadores em sistemas de computador antigos. Essas notas são o "texto livre" do mundo manufatureiro: curtas, caóticas e frequentemente interrompidas no meio de uma frase porque o software antigo onde foram escritas tinha um limite de memória minúsculo.

O desafio para os cientistas é transformar esses rabiscos bagunçados e bilíngues (uma mistura de Chinês Tradicional e Inglês) em uma lista limpa e estruturada que um computador possa realmente ler e usar. Isso é chamado de Extração de Informação. É como tentar ensinar um robô a ler as mensagens de texto caóticas de um adolescente e transformá-las em um relatório formal. O objetivo é descobrir o que mudou, quando mudou e como uma ordem de serviço está conectada a outra, tudo isso sem perder a história no processo. Se não conseguirmos fazer isso, as empresas perdem a capacidade de rastrear seus erros ou melhorias, o que é como tentar dirigir um carro sem saber para onde a estrada vai.

---

O Mistério do Limite de 255 Caracteres

Neste estudo, pesquisadores de Taiwan enfrentaram um problema muito específico e muito bagunçado. Eles foram a uma empresa de maquinário CNC (um lugar que constrói peças de metal precisas) e analisaram suas ordens de serviço antigas. Eles encontraram 399 dessas ordens, mas apenas 217 tinham alguma nota. As notas eram uma mistura caótica de Chinês Tradicional e Inglês, cheias de jargões da indústria e — aqui está o detalhe — 125 delas estavam literalmente cortadas exatamente aos 255 caracteres.

Por que 255? Acontece que a empresa estava usando um sistema de banco de dados antigo chamado Microsoft Access, que tinha uma regra de que uma caixa de texto só podia conter 255 letras. Se um trabalhador escrevesse uma nota mais longa, o computador simplesmente a cortava, muitas vezes bem no meio de uma frase ou de um detalhe crucial. É como tentar ler uma receita onde as instruções para "adicionar os ovos" são cortadas, deixando você apenas com "adicionar o..." e depois nada.

A equipe queria ver se poderiam usar um Modelo de Linguagem Pequeno (SLM) — um tipo de IA que é inteligente o suficiente para entender a linguagem, mas pequena o suficiente para rodar em um computador comum sem precisar de internet — para consertar essa bagunça. Eles não queriam enviar os dados secretos da empresa para um grande servidor na nuvem; eles queriam manter tudo local e privado.

O Kit de Ferramentas do Detetive: Pydantic e o Teste de "Fundamentação"

Para resolver isso, os pesquisadores construíram um "template" especial chamado esquema Pydantic. Pense nisso como um cortador de biscoitos digital muito rigoroso. Não importa quão bagunçada seja a massa (o texto), o cortador a força a ter um formato perfeito. A IA foi treinada para olhar para as notas bagunçadas e forçar a informação a entrar nesse formato específico, identificando itens como "Componente" (o que mudou), "Substituição" (pelo que foi trocado) e "Links de Rastreabilidade" (como este trabalho se conecta a um anterior).

Eles usaram um modelo de 3 bilhões de parâmetros (uma IA "pequena" no mundo dos grandes modelos de linguagem) e o ensinaram a preencher esse cortador de biscoitos. Mas havia um porém: a IA é um pouco sonhadora. Quando ela vê uma nota sobre uma peça de máquina, às vezes fica tão entusiasmada com o que poderia ser verdade que inventa detalhes que não estão lá. Isso é chamado de alucinação. É como um aluno que, ao ser solicitado a resumir uma história, inventa um personagem que não estava no livro porque acha que isso torna a história melhor.

Os Resultados: Boa em Encontrar, Ruim em Filtrar

Os resultados foram uma mistura de sucesso e um tipo muito específico de falha.

Primeiro, a boa notícia: a IA foi incrivelmente boa em seguir as regras. 96,9% das vezes, ela produziu uma resposta perfeitamente formatada que se encaixava no cortador de biscoitos. Ela encontrou com sucesso a maioria das mudanças e conseguiu até identificar quando uma nota estava cortada.

No entanto, a IA tinha um grande defeito de personalidade: ela era excessivamente generosa.

• Para encontrar coisas (Recall/Revocação): Ela foi ótima. Encontrou 80% das conexões reais entre as ordens de serviço.
• Para ser precisa (Precisão): Ela foi terrível. Apenas 10% das conexões que ela alegou encontrar eram realmente reais.

Em termos simples: a IA estava gritando: "Eu encontrei um link! Eu encontrei um link!" e ela estava certa apenas 1 vez em cada 10. Ela gritava "Eu encontrei um link!" quando não havia link nenhum 9 vezes em cada 10. Ela estava inventando conexões para ser útil, o que é perigoso em uma fábrica onde você precisa saber exatamente o que aconteceu.

As Duas Soluções: Um Aviso vs. Um Filtro

Os pesquisadores tentaram duas maneiras diferentes de impedir que a IA inventasse coisas.

Tentativa 1: O Prompt "Apenas os Fatos"
Eles tentaram conversar com a IA, adicionando uma instrução especial ao prompt: "Escreva apenas as coisas que você consegue ver no texto. Se não tiver certeza, deixe em branco."

• O Resultado: Isso saiu pela culatra. A IA não apenas parou de inventar coisas; ela parou de escrever qualquer coisa útil. Ela ficou tão assustada em cometer um erro que deletou informações reais também. O número de links corretos caiu de 80% para 40%. A instrução "Apenas os Fatos" tornou a IA tímida demais para fazer seu trabalho.

Tentativa 2: O "Filtro de Verdade"
Em vez de pedir à IA para ser cuidadosa, os pesquisadores construíram um filtro automático separado que rodava depois que a IA terminava seu trabalho. Este filtro tinha uma regra simples: "Se a IA escreveu uma palavra ou um número, verifique se essa palavra ou número exato aparece no texto original. Se não aparecer, delete-o."

• O Resultado: Isso foi uma grande melhoria, mas não uma cura mágica. O filtro não mudou a quantidade de coisas que a IA encontrou (o Recall permaneceu em 80%), e ele eliminou todas as palavras falsas que não estavam no texto, levando a contagem de alucinações de palavras inventadas para zero. No entanto, a precisão da IA subiu de 10% para apenas 13,3%.

Por que não chegou a 100%? Porque a IA ainda cometia um tipo diferente de erro. Mesmo quando as palavras que ela usava eram reais e estavam presentes no texto, ela às vezes as associava a uma relação errada. Por exemplo, ela pode ver dois números de ordens de serviço em uma nota e supor que eles estão conectados, quando na verdade estão apenas mencionados lado a lado por outro motivo. O filtro não consegue pegar isso porque as palavras estão lá; o erro está na lógica da conexão, não nas palavras em si.

A Conclusão

O artigo conclui que, para este tipo específico e bagunçado de dados, você não pode simplesmente dizer a uma IA para "ser honesta". Nesse tamanho, a IA não entende realmente a diferença entre "o que está no texto" e "o que eu acho que está no texto". Ela precisa de um filtro determinístico — um verificador de fatos rígido e insensível — para limpar sua bagunça.

O estudo mostra que podemos recuperar o histórico de mudanças de engenharia dessas notas antigas e fragmentadas, mas temos que aceitar que a IA ainda cometerá erros lógicos mesmo após corrigirmos as fabricações de palavras. A instrução de "fundamentação" (dizer a ela para ser cuidadosa) torna as coisas piores, mas um "filtro pós-hoc" (verificar seu trabalho depois) remove com sucesso as palavras inventadas e melha a precisão, embora não consiga corrigir a confusão da IA sobre como as coisas se relacionam. É um lembrete de que, às vezes, a melhor maneira de lidar com um robô sonhador não é dar-lhe uma palestra, mas sim fornecer um verificador de fatos que consiga detectar as mentiras, mesmo que o robô ainda erre o enredo.