Gates Instead of Prompts: Development and Methods of a Large-Language-Model Expert System for Root- Cause Analysis in a Steel Foundry

En la pesada industria de la fundición de acero, donde el metal fundido se vierte en moldes de arena para crear componentes masivos, la diferencia entre una pieza perfecta y una defectuosa suele residir en la física invisible. Cuando una fundición falla, los ingenieros deben realizar un análisis de causa raíz, una investigación rigurosa que une pistas de registros de máquinas, pruebas de laboratorio y complejas simulaciones por computadora de cómo el metal se enfría y solidifica. Durante décadas, este trabajo ha dependido de expertos humanos capaces de leer miles de páginas de manuales e interpretar patrones sutiles en los datos. Recientemente, una nueva herramienta ha entrado en la conversación: los modelos de lenguaje de gran tamaño. Estos son programas informáticos potentes capaces de leer vastas cantidades de texto y responder preguntas con una fluidez notable. Sin embargo, poseen un defecto significativo: hablan con absoluta confianza incluso cuando están equivocados. En un entorno de alto riesgo como una fundición de acero, una respuesta confiante pero incorrecta podría conducir a errores peligrosos o costosos errores de producción. El desafío, por lo tanto, no es solo usar estas computadoras inteligentes, sino construir un sistema que las obligue a ser honestas, fundamentadas y verificables.

Este artículo describe la creación de tal sistema, desarrollado por un investigador independiente para una fundición de acero en la República Checa. El proyecto, llamado Digital Foundry PRO, no fue diseñado para reemplazar a los ingenieros humanos, sino para actuar como un asistente forense que trabaja fuera de línea con datos históricos. El descubrimiento central del trabajo es que no se puede simplemente decirle a un modelo de lenguaje de gran tamaño que "tenga cuidado" o "verifique sus hechos". En su lugar, los investigadores tuvieron que construir un marco rígido de puertas digitales que detengan físicamente a la computadora de realizar afirmaciones sin sustento. El sistema fue probado con datos del mundo real de una fundición que produce piezas de acero utilizando moldes de arena verde. Durante seis meses, el sistema evolucionó de un simple prototipo a una herramienta sofisticada capaz de analizar defectos de fundición y fallos de equipos. El hallazgo más importante fue que la capacidad del sistema para encontrar la verdadera causa de un problema no provino de darle a la computadora más herramientas o más datos, sino de cambiar las instrucciones específicas que se le dieron. Al obligar a la computadora a mirar el momento y el lugar exactos donde se forma un defecto, en lugar de escanear toda la simulación en busca de algo inusual, la precisión del sistema mejoró drásticamente.

El proceso de desarrollo comenzó con una cruda toma de conciencia sobre las limitaciones de la tecnología actual. En una prueba temprana, se le preguntó a un chatbot estándar por qué una unidad de vertido estaba deteniendo su ciclo. La máquina analizó los datos de temperatura, asumió que el metal era aluminio y declaró que las temperaturas registradas de más de 1.300 grados Celsius eran físicamente imposibles. Luego recomendó reemplazar el sensor y bajar los ajustes de la alarma. El consejo era confiado y sonaba razonable, pero era completamente erróneo porque la fundición estaba vertiendo acero, no aluminio. Este error resaltó el peligro de un sistema que suena autoritario pero carece de un mecanismo para verificar sus propios hechos. Para resolver esto, el investigador construyó una serie de "puertas" en el software. Estas no son sugerencias para que la computadora las siga; son reglas codificadas que detienen el proceso si no se cumplen ciertas condiciones. Por ejemplo, el sistema no iniciará un análisis a menos que el tipo específico de metal esté confirmado por un documento en su biblioteca. Si la computadora intenta citar una página de un manual, el software verifica el texto real de esa página para asegurar que la cita esté allí palabra por palabra. Si la computadora intenta hacer referencia a una imagen de simulación, el software verifica que el archivo de imagen realmente exista y coincida con la descripción. Estas puertas actúan como una red de seguridad, asegurando que la computadora no invente hechos o alucine evidencia.

El sistema también introdujo una nueva forma de leer las simulaciones por computadora del proceso de enfriamiento. Usualmente, una computadora podría escanear todo un video de simulación buscando cualquier signo de problemas, como un punto caliente o un flujo de metal de movimiento rápido. Este enfoque a menudo conduce a falsas alarmas, ya que las altas temperaturas o los flujos rápidos son, a veces, partes normales del proceso. El nuevo sistema cambió las reglas: solo mira los datos de la simulación en el lugar exacto, en el momento exacto y por encima del umbral exacto donde se sabe que se forma un defecto específico. Por ejemplo, si un defecto es un tipo de contracción que ocurre cerca del núcleo de la fundición, el sistema ignora el resto del molde y se enfoca solo en esa área específica durante el tiempo específico en que el metal se está solidificando. Este método evita que la computadora se distraiga con datos irrelevantes. Además, el sistema trata los manuales de la maquinaria con extrema cautela. Un manual para una pieza de equipo a menudo describe cada posible característica que la máquina podría tener, no solo las características que la máquina específica en la fábrica posee realmente. El sistema fue programado para asignar un "nivel de confianza" a cada afirmación sobre el equipo. Solo las afirmaciones que fueron verificadas contra los datos reales de operación de la máquina fueron permitidas para ser usadas en procedimientos oficiales. Las afirmaciones basadas únicamente en el manual fueron marcadas como no verificadas, evitando que el sistema recomiende acciones que la máquina específica no pudiera realizar.

El avance más significativo ocurrió cuando los investigadores probaron cómo hacer que el sistema pensara más profundamente. Inicialmente, la computadora podía leer los datos y producir un informe, pero los informes eran superficiales y a menudo pasaban por alto el problema real. Los investigadores intentaron añadir más herramientas y más datos, pero los resultados no mejoraron. Luego cambiaron la tarea en sí. Le dieron a la computadora cinco instrucciones específicas, o "mandatos", que la obligaron a mirar el problema de manera diferente. Estas instrucciones le dijeron a la computadora que examinara el área alrededor de los núcleos de la fundición, que separara el punto caliente central de las zonas circundantes y que intentara activamente refutar explicaciones simples. Con estas nuevas instrucciones, y sin añadir ninguna herramienta nueva, el rendimiento del sistema se transformó. En una serie de pruebas sobre una fundición de acero específica, la capacidad de recuperación de información mejoró aproximadamente cinco veces. La cantidad de veces que el sistema identificó correctamente la ubicación real del defecto saltó de cero a entre tres y dieciséis menciones en el mismo informe. La computadora comenzó a encontrar el problema real, que era un tipo sutil de porosidad en un anillo alrededor de los núcleos, en lugar de la respuesta obvia de libro de texto de un gran agujero de contracción. Este demostró que la profundidad del análisis dependía de la calidad de la pregunta formulada, no de la cantidad de datos proporcionados. Es importante notar una limitación fundamental en la validación de estos resultados: el análisis de referencia contra el cual se probó el sistema no fue un informe de un experto humano independiente, sino un análisis escrito por un modelo de lenguaje (LLM) bajo la guía del autor. Por lo tanto, el sistema no fue validado contra el juicio de un experto humano autónomo.

A lo largo del proyecto, los investigadores también documentaron lo que no funcionó, lo cual fue tan importante como los éxitos. Construyeron un "gemelo digital", un modelo virtual de toda la línea de producción destinado a predecir fallos en tiempo real. Sin embargo, descubrieron que los datos que alimentaban este modelo eran defectuosos. El sistema estaba utilizando límites y valores que habían sido adivinados o tomados de una máquina diferente, lo que lo llevaba a marcar casi cada medición como un error. Los investigadores se dieron cuenta de que el sistema no estaba encontrando fallos en la fábrica; estaba encontrando fallos en su propia comprensión de la fábrica. Deliberadamente desmantelaron este gemelo digital, eliminando la interfaz y el modelo de la máquina, porque no estaba listo para el mundo real. También descubrieron que un vínculo estadístico entre temperaturas más altas y más defectos de gas era en realidad una ilusión causada por la lectura de un sensor defectuoso. Cuando verificaron la fuente de los datos, vieron que las lecturas de temperatura no eran fiables, por lo que retractaron el hallazgo. Esta disposición a desmantelar su propio trabajo y admitir cuando un resultado era un error se convirtió en una parte central de la fiabilidad del sistema.

El resultado final es un sistema que opera bajo un principio simple pero poderoso: la computadora propone, y el humano firma. El sistema está diseñado para trabajar fuera de línea, analizando datos históricos que ya han sido exportados de la fábrica. No se conecta a los sistemas de control en vivo de las máquinas, y no toma decisiones por sí mismo. En su lugar, actúa como un asistente altamente disciplinado que recopila evidencia, verifica sus propios hechos contra reglas estrictas y presenta un informe a un ingeniero humano. El humano luego revisa los hallazgos, verifica la evidencia y asume la responsabilidad de la decisión final. Los investigadores encontraron que el sistema podía identificar fallos crónicos, como un eje desalineado en una unidad de vertido que había estado causando interrupciones durante meses, y podía distinguir entre defectos reales y errores de datos. Sin embargo, también señalaron que el sistema no es perfecto. Todavía tiene dificultades para cuantificar la severidad exacta de algunos defectos y depende en gran medida de la calidad de los datos que recibe. Si los datos faltan o son incorrectos, el sistema no puede arreglarlos.

El artículo concluye con una recomendación clara para el futuro de esta tecnología en la industria. Los investigadores sugieren que el nivel más alto de autonomía que un sistema como este debería alcanzar es un nivel "preparatorio". En este nivel, el sistema puede preparar un valor o una recomendación, verificarlo contra los límites de seguridad y esperar a que un humano lo confirme antes de que se tome cualquier acción. Aconsejan explícitamente no permitir que el sistema escriba directamente en los sistemas de control de la fábrica, incluso si está totalmente validado. La responsabilidad del producto final pertenece al ingeniero humano, y esa responsabilidad nunca debe entregarse a un software. El proyecto demuestra que, si bien los modelos de lenguaje de gran tamaño son herramientas poderosas para leer y procesar información, deben ser envueltos en una capa de reglas deterministas impuestas por código para ser útiles en entornos industriales críticos. El éxito del sistema no provino de hacer a la computadora más inteligente, sino de hacer las reglas a su alrededor más estrictas. Al obligar a la computadora a probar sus afirmaciones, a mirar en el lugar correcto en el momento adecuado y a admitir cuando no sabe la respuesta, los investigadores crearon una herramienta que puede asistir genuinamente a los expertos en la resolución de los complejos problemas de la fundición de acero. Su trabajo constituye una guía práctica de cómo construir sistemas de IA fiables en el mundo real, donde el costo de un error no es solo una respuesta incorrecta, sino una máquina rota o un producto fallido.