LLM-Based Automated Diagnosis Of Integration Test Failures At Google

Resumen Técnico: Diagnóstico Automatizado de Fallos en Pruebas de Integración Mediante LLMs en Google

1. El Problema

Las pruebas de integración son críticas para la fiabilidad de sistemas de software complejos y distribuidos, pero su diagnóstico presenta desafíos significativos que superan a los de las pruebas unitarias:

• Volumen y Heterogeneidad de Logs: Cuando una prueba de integración falla, genera una cantidad masiva de registros (logs) semi-estructurados y heterogéneos provenientes de múltiples componentes (el "driver" de la prueba y el Sistema Bajo Prueba o SUT). En Google, una prueba fallida tiene una mediana de 16 archivos de log y 2,801 líneas.
• Baja Relación Señal-Ruido: Los logs contienen advertencias y errores rutinarios que no están relacionados con el fallo real, lo que dificulta identificar la causa raíz.
• Alta Carga Cognitiva: Los desarrolladores deben revisar manualmente múltiples archivos de log con formatos distintos para encontrar el error específico, un proceso que a menudo toma más de una hora e incluso supera un día.
• Impacto en la Productividad: Una encuesta interna en Google identificó el diagnóstico de fallos en pruebas de integración como uno de los cinco problemas más frecuentes reportados por los desarrolladores, generando una gran frustración y pérdida de tiempo.

2. Metodología: Auto-Diagnose

Para abordar estos desafíos, los autores presentaron Auto-Diagnose, una herramienta que utiliza Modelos de Lenguaje Grande (LLMs) para automatizar el diagnóstico.

• Arquitectura del Sistema:

  • Recolección de Datos: Al producirse un fallo, el sistema recopila automáticamente los logs de nivel INFO y superior tanto del driver de la prueba como de todos los componentes del SUT. Estos logs, provenientes de diferentes centros de datos y hilos, se unifican y ordenan por marca de tiempo en un único flujo.
  • Prompt Engineering: Se utiliza el modelo Gemini 2.5 Flash (elegido por su velocidad y costo-eficacia). Se diseñó un prompt altamente estructurado que incluye:
    • Instrucciones paso a paso para el razonamiento (Chain of Thought).
    • Restricciones negativas estrictas para evitar especulaciones (ej. "No asumas nada si no hay logs del componente fallido").
    • Formato de salida específico en Markdown que incluye una conclusión, pasos de investigación y las líneas de log más relevantes.
  • Integración en el Flujo de Trabajo: La herramienta se integra directamente en Critique, el sistema interno de revisión de código de Google. Cuando una prueba falla, Auto-Diagnose publica automáticamente un hallazgo (finding) en la revisión de código, proporcionando asistencia contextual e inmediata sin que el desarrollador tenga que ejecutar herramientas adicionales.

• Parámetros del Modelo:

  • Temperatura: 0.1 (para respuestas deterministas y fáciles de depurar).
  • Top-p: 0.8 (para permitir cierta creatividad sin tokens extremadamente improbables).
  • El modelo no fue fine-tuned específicamente con los logs de fallos, sino que se basa en su capacidad general de procesamiento de texto.

3. Contribuciones Clave

• Primera aplicación a gran escala de LLMs en diagnóstico de pruebas de integración: A diferencia de trabajos previos centrados en pruebas unitarias o depuración de código fuente, este enfoque aborda la complejidad de sistemas distribuidos con múltiples componentes interactuando.
• Herramienta de Diagnóstico Integrada: No es un script aislado, sino una funcionalidad nativa en el flujo de revisión de código (Critique), lo que reduce la fricción para los desarrolladores.
• Validación Empírica Rigurosa: El estudio combina evaluación manual por expertos, métricas de uso en producción a gran escala y entrevistas cualitativas con usuarios.
• Descubrimiento de Bugs de Infraestructura: El proceso de validación reveló bugs en la propia infraestructura de pruebas (logs no guardados correctamente al fallar un componente), demostrando el valor de la herramienta más allá del diagnóstico de código.

4. Resultados

El estudio se evaluó mediante tres enfoques principales:

• Evaluación Manual (Precisión):

  • Se analizaron 71 fallos reales de pruebas de integración de 39 equipos distintos.
  • Tres desarrolladores expertos validaron los diagnósticos.
  • Resultado: Auto-Diagnose identificó correctamente la causa raíz en 64 casos, logrando una precisión del 90.14%.

• Uso en Producción (Adopción y Feedback):

  • Desplegado en mayo de 2025, la herramienta se utilizó en 52,635 pruebas distintas y 224,782 ejecuciones a través de 91,130 cambios de código.
  • Tiempo de respuesta: Publicó hallazgos en Critique en un tiempo mediano (p50) de 56 segundos, mucho más rápido que el tiempo humano de depuración.
  • Feedback de Usuarios:
    • Tasa de "No útil": 5.8% (muy por debajo del límite del 10% establecido por Google para mantener herramientas en Critique).
    • Tasa de "Útil": 62.96% (entre los comentarios de "Útil" y "No útil").
    • Ranking: Se posicionó en el #14 (top 3.78%) entre 370 herramientas que publican hallazgos en Critique en términos de utilidad percibida.

• Entrevistas con Usuarios:

  • Los desarrolladores valoraron positivamente la reducción de carga cognitiva y la eliminación de la necesidad de buscar manualmente en logs.
  • Se observó una tendencia de los usuarios a esperar ahora no solo diagnósticos, sino también soluciones automáticas (fixes) gracias a la exposición a las capacidades de los LLMs.

5. Significado e Impacto

• Validación de LLMs en Contextos Complejos: El estudio demuestra que los LLMs son altamente efectivos para procesar y resumir datos textuales complejos y heterogéneos (logs distribuidos), superando las limitaciones de las técnicas tradicionales de depuración estadística o basada en espectro que suelen fallar en sistemas de integración.
• Cambio de Paradigma en la Depuración: La integración exitosa de una IA generativa en el flujo de trabajo diario de los desarrolladores (dentro de la revisión de código) valida que estas herramientas pueden ser adoptadas masivamente si ofrecen asistencia contextual inmediata y precisa.
• Escalabilidad y Costo: La solución es altamente escalable y rentable, procesando miles de ejecuciones con un costo de tokens manejable, ofreciendo un retorno de inversión claro en términos de tiempo de desarrollo ahorrado.
• Futuro: Los autores proponen extender la herramienta para no solo diagnosticar, sino también proponer correcciones automáticas (fixes), alineándose con las expectativas crecientes de los desarrolladores.

En conclusión, Auto-Diagnose representa un avance significativo en la ingeniería de software, demostrando que la IA puede resolver problemas prácticos y costosos en el ciclo de vida del desarrollo, específicamente en la crítica etapa de las pruebas de integración.