🤖 AI

Evaluating Large Language Models for Detecting Architectural Decision Violations

Este estudio evalúa la eficacia de los modelos de lenguaje de gran tamaño (LLM) para detectar violaciones de decisiones arquitectónicas en proyectos de código abierto, concluyendo que, aunque son efectivos para decisiones explícitas basadas en código, aún requieren supervisión humana para decisiones implícitas o de despliegue.

Autores originales: Ruoyu Su, Alexander Bakhtin, Noman Ahmad, Matteo Esposito, Valentina Lenarduzzi, Davide Taibi

Publicado 2026-02-10

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Ruoyu Su, Alexander Bakhtin, Noman Ahmad, Matteo Esposito, Valentina Lenarduzzi, Davide Taibi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El "Inspector de Manuales": ¿Pueden las Inteligencias Artificiales vigilar que los arquitectos cumplan sus propias reglas?

Imagina que estás construyendo un rascacielos gigante. Para que el edificio no se caiga, los arquitectos escriben un "Libro de Reglas de Oro" (en el mundo del software, esto se llama ADR o Architectural Decision Records). En ese libro dice cosas como: "Todas las tuberías deben ser de cobre" o "Las escaleras siempre deben estar a la izquierda".

El problema es que, a medida que el edificio crece y llegan cientos de obreros, es casi imposible revisar cada rincón para ver si alguien instaló tuberías de plástico por error o puso una escalera donde no debía. El edificio empieza a volverse un caos.

¿Qué hicieron los investigadores?
Intentaron ver si la Inteligencia Artificial (como ChatGPT) puede actuar como un "Inspector Automático". Le dieron a la IA el "Libro de Reglas" y las fotos de la construcción (el código del software) para ver si era capaz de detectar cuando alguien rompe una regla.

1. El Experimento: Un equipo de inspectores digitales

Los científicos no usaron una sola IA, sino un equipo. Imagina que contrataron a cuatro inspectores diferentes:

El Jefe (LRM): Un inspector muy analítico que revisa la obra y dice: "Aquí hay un error".
Los Tres Verificadores (V1, V2, V3): Tres inspectores adicionales que no miran la obra directamente, sino que leen el reporte del Jefe para ver si tiene sentido o si se está inventando cosas.

2. Los Resultados: ¿Qué tan buenos son estos inspectores?

✅ Lo que hacen genial: "El ojo de águila para lo evidente"

Cuando la regla es clara y está escrita directamente en la construcción (por ejemplo: "Usa siempre el color azul" y ves una pared roja), los inspectores son increíbles. Tienen una precisión de más del 90%. Son como un detector de metales: si el metal está ahí, lo encuentran sin fallar.

❌ Lo que les cuesta: "El detective de lo invisible"

Aquí es donde la IA empieza a sudar. Los inspectores fallan en tres situaciones:

Reglas de "clima" o "entorno": Si la regla dice: "Instala las luces según la intensidad del sol", la IA se pierde, porque la IA solo ve la lámpara, pero no sabe cómo está el clima afuera. (En software, esto son las reglas de infraestructura o la nube).
Reglas de "intención": Si la regla es abstracta, como: "Construye con un espíritu de elegancia", la IA no sabe qué es "elegancia". No puede medir un sentimiento con una regla de medir.
El dilema del "No sé": A veces, la IA no encuentra la tubería, pero en lugar de decir "No veo nada en las fotos", intenta adivinar o se confunde. Le cuesta mucho admitir: "No tengo suficiente información para responder".

3. La Conclusión: ¿Podemos despedir a los inspectores humanos?

La respuesta es un rotundo NO.

El estudio concluye que la IA es como un asistente de supervisión muy útil, pero no un sustituto.

La IA es excelente para el trabajo rutinario: Revisar que las cosas obvias se cumplan y avisar cuando algo salta a la vista.
El Humano es indispensable para el juicio crítico: Para entender el "porqué" de las cosas, para interpretar reglas complejas y para saber cuándo una decisión depende de factores que no están escritos en el código.

En resumen: La IA es el nuevo "asistente de obra" que te ayuda a no pasar por alto errores tontos, pero el arquitecto humano sigue siendo el único que realmente entiende si el edificio es seguro y funcional.

Resumen Técnico: Evaluación de Modelos de Lenguaje de Gran Escala (LLM) para la Detección de Violaciones de Decisiones Arquitectónicas

1. El Problema

La integridad de la arquitectura de software depende del cumplimiento de los Registros de Decisiones Arquitectónicas (ADR). Sin embargo, la arquitectura tiende a degradarse (arquitectura "drift") porque las violaciones de estas decisiones suelen pasar desapercibidas. Los métodos tradicionales de detección (como el análisis estático) fallan al intentar interpretar decisiones expresadas en lenguaje natural o decisiones implícitas. Aunque los LLM muestran potencial para razonar sobre código y documentación, su fiabilidad para tareas de razonamiento arquitectónico de alto nivel aún no ha sido evaluada sistemáticamente.

2. Metodología

Los autores diseñaron un estudio empírico a gran escala utilizando un enfoque de pipeline multi-modelo:

Dataset: Analizaron 980 ADRs extraídos de 109 repositorios de código abierto en GitHub. Se seleccionaron proyectos con un volumen significativo de líneas de código (TLoC) y commits para asegurar la relevancia.
Arquitectura del Pipeline:
- Modelo de Razonamiento Principal (LRM): Utilizaron Marco-o1 para extraer información y detectar violaciones.
- Modelos de Validación (V1, V2, V3): Tres modelos independientes (Mistral-Nemo, Qwen3 y Llama-3.1) actuaron como validadores para verificar el razonamiento del LRM.
- Técnica RAG (Generación Aumentada por Recuperación): Para superar las limitaciones de la ventana de contexto, implementaron RAG utilizando un modelo de Sentence Transformer y una base de datos vectorial FAISS para recuperar los fragmentos de código más relevantes para cada ADR.
Validación Humana: Para establecer la "verdad fundamental" (ground truth), tres expertos humanos evaluaron manualmente una muestra de 305 casos, utilizando un protocolo de votación por mayoría para resolver discrepancias.
Métricas: Se evaluó el acuerdo (Fleiss’ Kappa, Jaccard), la precisión, la exhaustividad (recall), la exactitud (accuracy) y el coeficiente de correlación de Matthews (MCC).

3. Contribuciones Clave

Evaluación a gran escala: Un análisis exhaustivo de cuatro LLM de última generación sobre casi mil decisiones arquitectónicas.
Pipeline de validación robusto: Un marco que combina detección mediante RAG, validación cruzada entre modelos y revisión experta humana.
Taxonomía de fallos: Una clasificación detallada de los tipos de decisiones donde los LLM fallan y las categorías de error que cometen.

4. Resultados Principales

Acuerdo (RQ1): Los modelos mostraron un acuerdo sustancial (Fleiss’ $\kappa = 0.724$ ). Existe una alta consistencia cuando el código cumple claramente con la decisión (etiqueta "Compliant"), pero el acuerdo disminuye drásticamente en casos de violación o falta de información.
Precisión y Exactitud (RQ2): Los modelos demostraron una capacidad notable. El LRM (Marco-o1) alcanzó una exactitud del 91.1%, seguido de cerca por Qwen3 (90.4%).
- Fortaleza: Son extremadamente fiables detectando decisiones que se reflejan directamente en el código (Compliant).
- Debilidad: El desempeño más bajo se observó en la categoría CIA (Code is Insufficient to Answer), lo que indica dificultad para distinguir entre una "no violación" y una "falta de evidencia".
Limitaciones y Errores (RQ3):
- Tipos de ADR problemáticos: Las decisiones relacionadas con infraestructura y despliegue (Docker, Kubernetes, CI/CD) fueron las más difíciles de evaluar (42.39% de los errores).
- Categorías de error: Los fallos se debieron principalmente a malinterpretaciones semánticas y lógicas (44.57%), seguidas de la incapacidad de inferir contexto implícito o faltante.

5. Significado e Implicaciones

El estudio concluye que los LLM son herramientas poderosas para apoyar la validación de la arquitectura, pero no pueden reemplazar la experiencia humana.

Para la práctica: Los LLM pueden automatizar revisiones rutinarias y servir como "sistemas de alerta temprana" en flujos de trabajo híbridos.
Para la investigación: Se sugiere que el futuro de la detección arquitectónica no reside solo en mejorar los prompts, sino en mejorar la calidad de la recuperación (RAG), estandarizar los formatos de los ADR y combinar el razonamiento de los LLM con herramientas de análisis estático tradicional para cubrir las brechas en infraestructura y lógica compleja.