A Comparative Benchmark of Large Language Models for Labelling Wind Turbine Maintenance Logs

Título: Un Benchmark Comparativo de Modelos de Lenguaje Grandes (LLM) para la Etiquetado de Registros de Mantenimiento de Turbinas Eólicas

1. El Problema

La Operación y Mantenimiento (O&M) eficientes son cruciales para reducir el Coste Nivelado de la Energía (LCOE) de la energía eólica, representando hasta un tercio de los costos de vida de una turbina. Sin embargo, la industria enfrenta una barrera significativa: los registros de mantenimiento (órdenes de trabajo) se almacenan como texto libre no estructurado en sistemas como IBM Maximo o SAP.

• Desafíos: Estos registros contienen jerga técnica inconsistente, abreviaturas específicas del sitio, errores tipográficos y falta de estandarización.
• Consecuencias: La falta de estructura impide el análisis automatizado, obligando a los operadores a realizar procesos manuales costosos y lentos. Además, estudios previos han demostrado que la subjetividad en el etiquetado manual puede alterar los parámetros de fiabilidad (como la vida característica de un componente) en un factor de hasta tres, y que diferentes expertos pueden generar tasas de fallo que difieren en más del 300% para los mismos datos.
• Vacío de investigación: Aunque existen métodos tradicionales de aprendizaje automático, falta un benchmark comparativo que evalúe el rendimiento, el costo y la fiabilidad de los Modelos de Lenguaje Grandes (LLM) modernos (tanto propietarios como de código abierto) para esta tarea específica.

2. Metodología

Los autores presentan un marco de trabajo reproducible y de código abierto diseñado para evaluar sistemáticamente LLMs en la clasificación de registros de mantenimiento.

• Preparación de Datos:
  • Se curó un conjunto de datos de más de 400 registros informativos.
  • Se aplicó limpieza basada en reglas (distancia de Levenshtein) y desduplicación semántica utilizando embeddings de Sentence-BERT y clustering HDBSCAN.
  • Los registros en portugués se tradujeron al inglés para los modelos de código abierto (entrenados principalmente en inglés), mientras que los modelos API propietarios se evaluaron directamente en el idioma original.
• Selección de Modelos:
  • Propietarios (API): GPT-5, GPT-5 Mini, GPT-5 Nano, GPT-o3, GPT-o4 Mini (OpenAI); Gemini-2.5 Pro y Flash (Google).
  • Código Abierto (Local): Phi-4 (14b), Gemma-3 (12b), Llama-3.1 (8b), Mistral (7b), ejecutados localmente en hardware limitado (MacBook Air M4).
• Tarea de Clasificación y Prompting:
  • Se definieron dos taxonomías jerárquicas: Tipo de Mantenimiento (16 etiquetas) y Categoría de Problema (26 etiquetas).
  • Innovación Clave: Filtrado dinámico de prompts. El sistema identifica el código del componente y solo incluye las etiquetas relevantes para ese componente en el prompt, reduciendo el ruido contextual, el riesgo de alucinaciones y el consumo de tokens.
• Métricas de Evaluación:
  • Precisión, Recall, F1-Score (alineación con un modelo de referencia gpt-5).
  • Calibración: Correlación entre la puntuación de confianza autoinformada del modelo y su rendimiento real (F1-Score).
  • Acuerdo Inter-modelo: Coeficiente Kappa de Cohen para medir la consistencia entre modelos.
  • Eficiencia: Costo total, velocidad de procesamiento (logs/segundo) y tasa de errores/alucinaciones.

3. Contribuciones Clave

1. Marco de Benchmarking Abierto: Se ha desarrollado y publicado una herramienta de código abierto que permite a la industria evaluar y desplegar LLMs para la estructuración de datos de mantenimiento de forma estandarizada.
2. Evaluación Holística: No se limita a la precisión; incluye análisis de costos, velocidad, calibración de confianza y robustez frente a alucinaciones.
3. Análisis de Ambigüedad Semántica: Diferenciación clara entre tareas objetivas (identificación de componentes) e interpretativas (tipo de mantenimiento).
4. Recomendación de Arquitectura: Propone un sistema Human-in-the-Loop (humano en el bucle) como la implementación más responsable y efectiva a corto plazo.

4. Resultados Principales

• Jerarquía de Rendimiento: Existe una clara jerarquía. Los modelos GPT-o3 y Gemini-2.5 Pro mostraron la mayor alineación con el estándar de referencia (F1 promedio de 0.83 y 0.80 respectivamente). Los modelos de código abierto mostraron un rendimiento inferior y mayor divergencia lógica.
• Compensación Eficiencia vs. Fiabilidad:
  • Gemini-2.5 Flash fue el más rápido y barato, pero tuvo una tasa de error técnico del 2.06%.
  • GPT-5 fue el más fiable (0% de errores) pero el más costoso y lento.
  • Los modelos de código abierto locales fueron competitivos en velocidad pero mostraron tasas más altas de alucinaciones (ej. Mistral 7b).
• Impacto de la Ambigüedad: Todos los modelos rindieron significativamente mejor en la tarea de Categoría de Problema (objetiva) que en la de Tipo de Mantenimiento (interpretativa). Esto confirma que la dificultad radica en la subjetividad de la descripción humana, no solo en la capacidad del modelo.
• Calibración: Un hallazgo crítico es la falta de calibración en muchos modelos. Modelos como Phi-4 mostraron una sobreconfianza significativa (alta confianza con bajo F1), mientras que GPT-o3 exhibió una excelente calibración (su confianza reflejaba fielmente su precisión).
• Acuerdo Inter-modelo: Los modelos propietarios de OpenAI y Google mostraron un alto acuerdo entre sí (Kappa > 0.81), mientras que los modelos de código abierto, especialmente Mistral, mostraron patrones de razonamiento distintos y menor acuerdo.

5. Significado y Conclusión

El estudio concluye que, aunque los LLMs representan un avance paradigmático sobre los métodos tradicionales de procesamiento de lenguaje natural y el etiquetado manual, no son una solución "plug-and-play" totalmente autónoma debido a la falta de precisión perfecta y la variabilidad en la calibración.

• Recomendación Estratégica: La aplicación más efectiva y responsable es un sistema Human-in-the-Loop. En este esquema, el LLM actúa como un asistente potente para acelerar y estandarizar el etiquetado, sugiriendo etiquetas que un experto humano verifica o corrige. Esto combina la escalabilidad y consistencia del LLM con el juicio final del experto.
• Valor Económico: El costo computacional de usar modelos superiores es insignificante comparado con el valor de los datos de alta calidad para la toma de decisiones estratégicas (inventario, mantenimiento predictivo, reducción de LCOE).
• Futuro: Se sugiere la fine-tuning (ajuste fino) de modelos de código abierto con datos verificados por expertos para crear herramientas especializadas y la integración de estos datos estructurados con datos SCADA para un análisis de causa raíz más profundo.

En resumen, el papel proporciona la base metodológica necesaria para integrar la IA generativa en la industria eólica, priorizando la fiabilidad y la supervisión humana sobre la autonomía total.