From Ad-Hoc Scripts to Orchestrated Pipelines: Architecting a Resilient ELT Framework for Developer Productivity Metrics
Este artículo describe la migración de scripts de ingesta ad-hoc a una arquitectura ELT robusta con orquestación de DAGs y arquitectura medallion para resolver problemas de fiabilidad de datos y garantizar la sostenibilidad de los paneles de métricas de productividad de desarrolladores.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina que tu empresa es una gran ciudad y los desarrolladores de software son los albañiles, electricistas y arquitectos que la construyen. Para saber si la ciudad avanza bien, necesitas un tablero de control (un "Dashboard") que muestre cosas como: "¿Cuántos edificios se terminaron hoy?" o "¿Cuántas veces se cayó la electricidad?".
El problema es que, al principio, este tablero estaba conectado con tuberías de agua oxidadas y parches de cinta adhesiva.
Aquí te explico la historia de cómo Adobe arregló esto, usando analogías sencillas:
1. El Problema: El "Fantasma Cero"
Antes, el sistema usaba pequeños scripts (como recordatorios en un calendario) para recolectar datos.
- La analogía: Imagina que tienes un empleado que cuenta cuántas pizzas se entregan cada noche. Si el teléfono del empleado se queda sin batería y no puede llamar a la pizzería, él simplemente anota "0 pizzas" en su cuaderno.
- El desastre: Nadie se da cuenta de que el teléfono estaba roto. Todos piensan: "¡Wow, hoy nadie pidió pizza! ¡Es un día muy tranquilo!".
- En la vida real: Esto se llama "Fantasma Cero". El sistema falló en obtener los datos, pero el reporte mostró "0 errores" o "0 entregas". Esto hizo que los jefes confiaran en un tablero que estaba mintiendo.
2. La Solución: De "Cocina Casera" a "Cadena de Montaje"
Decidieron dejar de usar esos scripts sueltos y construir una fábrica de datos organizada. Usaron tres conceptos clave:
A. La Arquitectura de las Tres Capas (Medallion)
Imagina que procesan los datos como si fueran diamantes en bruto:
- Capa Bronce (La Mina): Aquí guardan todo lo que llega de las fuentes (Jira, GitHub, Jenkins) tal cual, sin tocarlo. Es como guardar la piedra bruta tal como salió de la tierra. Si mañana cambian las reglas de cómo calcular algo, pueden volver a esta capa y volver a tallar la piedra sin tener que ir a la mina otra vez.
- Capa Plata (El Taller): Aquí limpian y ordenan los datos. Unifican nombres (si "Juan" en un sistema es "J.Doe" en otro, aquí se convierten en la misma persona) y tiran la basura (errores, bots).
- Capa Oro (La Joyería): Aquí están los datos finales, brillantes y listos para que el tablero los muestre. Son cálculos listos para leer: "50 entregas hoy".
B. El Director de Orquesta (Apache Airflow)
Antes, los scripts corrían a horas fijas (como un reloj de pared). Si el primer script tardaba más, el segundo corría con datos viejos.
- La nueva forma: Ahora tienen un director de orquesta.
- La analogía: El director no dice "Toca el violín a las 3:00". Dice: "Solo toca el violín cuando el piano haya terminado su parte". Si el piano falla, el violín no suena. Esto evita que se mezclen datos corruptos. Si algo falla, todo se detiene y avisa inmediatamente.
C. La Capacidad de "Viajar en el Tiempo"
Como guardaron todo en la capa "Bronce" (la mina), si mañana cambian la definición de "éxito", pueden volver atrás, tomar los datos viejos, aplicar la nueva regla y recalcular todo en minutos.
- Antes: Tenían que volver a llamar a la pizzería para pedir los datos de hace un año (y a veces la pizzería se negaba o cobraba mucho).
- Ahora: Tienen los datos guardados en su propia bodega. ¡Listos para re-cocinar!
3. El Sistema de Alertas: De "Mirar el Reloj" a "Llamar a tu Celular"
Antes, para saber si algo iba mal, alguien tenía que ir a mirar el tablero cada hora.
- El cambio: Ahora, en cuanto se calcula un número nuevo, el sistema empuja una alerta.
- La analogía: Es la diferencia entre ir a la oficina de correos cada hora a ver si llegó una carta (modelo antiguo), versus tener un servicio de mensajería que te llama al celular en el momento exacto en que el cartero deja la carta en tu buzón.
4. ¿Qué aprendieron? (Las Lecciones)
- No confíes en lo que no ves: Si el sistema dice "0 entregas", desconfía. Podría ser un fallo silencioso.
- La limpieza es clave: No intentes hacer reportes bonitos con datos sucios y crudos. Primero limpia, luego muestra.
- La complejidad vale la pena: Poner una fábrica de datos es más difícil que poner un recordatorio en el calendario, pero es lo único que te da confianza. Si no confías en los números, nadie usará el tablero.
En Resumen
Pasaron de tener un sistema frágil, donde los errores pasaban desapercibidos y la confianza era baja, a tener un sistema robusto, donde los datos se guardan con cuidado, se limpian ordenadamente y avisan inmediatamente si algo sale mal. Ahora, cuando miran el tablero de productividad, saben que los números son reales y pueden tomar decisiones basadas en la verdad.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.