ArchBench: Benchmarking Generative-AI for Software Architecture Tasks

1. El Problema

El artículo identifica una brecha crítica en la evaluación de la Inteligencia Artificial Generativa (GenAI) aplicada a la Arquitectura de Software.

• Enfoque actual limitado: Las métricas y benchmarks existentes para Grandes Modelos de Lenguaje (LLMs) se centran casi exclusivamente en la corrección de la implementación (generación de fragmentos de código o resolución de problemas a nivel de repositorio).
• Falta de estandarización: Las tareas de arquitectura de software (como la toma de decisiones, la modularización y la evolución del sistema) están subespecificadas. No existen conjuntos de datos estandarizados ni marcos de evaluación robustos para estas tareas.
• Consecuencia: La falta de infraestructura compartida impide comparar, rastrear o mejorar de manera fiable las capacidades arquitectónicas de diferentes modelos. La comunidad carece de un "SWE-bench" específico para arquitectura, lo que dificulta la validación rigurosa de las herramientas de asesoramiento arquitectónico impulsadas por IA.

2. Metodología

Los autores presentan ArchBench, una plataforma unificada diseñada para cerrar esta brecha. Su metodología se basa en una arquitectura modular y un flujo de trabajo estandarizado:

• Arquitectura del Sistema:

  • Herramienta CLI (Línea de Comandos): Un script en Python que ejecuta un pipeline de tres etapas:
    1. Descarga: Obtiene automáticamente conjuntos de datos de fuentes externas (GitHub, Zenodo, HuggingFace) y los almacena en caché local.
    2. Inferencia: Ensambla prompts basados en plantillas específicas de la tarea, los envía a proveedores de LLM (OpenAI, Anthropic, etc.) y registra las respuestas completas (trayectorias), incluyendo uso de tokens y latencia.
    3. Evaluación: Valida las predicciones y calcula métricas automatizadas.
  • Interfaz Web: Un panel interactivo (React) que muestra un leaderboard público, permitiendo filtrar y comparar resultados por tarea, modelo y métrica.
  • Arquitectura de Plugins: Cada tarea es un módulo autocontenido. Esto permite que la comunidad añada nuevas tareas sin modificar el núcleo del framework.

• Métricas de Evaluación:
  El sistema adapta las métricas según el tipo de tarea:

  • Similitud NLP: ROUGE, BLEU, METEOR, BERTScore (para generación de texto como ADRs).
  • Coincidencia de Conjuntos: Precisión, Recall, F1 (para recuperación de enlaces de trazabilidad).
  • Métricas de Código: Tasa de aprobación de pruebas unitarias, CodeBLEU, complejidad y SLOC (para generación de microservicios y componentes).
  • Evaluación Cualitativa: Uso opcional de "LLM como juez" para evaluaciones subjetivas.

• Flujo de Trabajo (Human-in-the-Loop):
  Los investigadores ejecutan la inferencia y evaluación mediante un solo comando. Los resultados se validan y se envían al leaderboard público mediante Pull Requests (PR), siguiendo un modelo de revisión por pares similar al de otros benchmarks de código.

3. Contribuciones Clave

El trabajo ofrece dos contribuciones principales:

1. Plataforma Centralizada de Benchmarking: Es la primera plataforma unificada que agrupa conjuntos de datos de investigaciones publicadas sobre GenAI en arquitectura de software. Actualmente soporta 5 tareas específicas, pero está diseñada para ser extensible.
2. Pipeline de Evaluación Estandarizado: Proporciona una herramienta CLI que automatiza la descarga de datos, la inferencia con registro completo de trayectorias y el cálculo de métricas, generando formatos de salida estandarizados para garantizar la reproducibilidad.

Tareas Soportadas Actualmente:

• Generación de ADRs (Architectural Decision Records): Creación de registros de decisiones arquitectónicas a partir de contextos.
• Generación de Componentes Serverless: Creación de funciones FaaS (Function as a Service) a partir de especificaciones.
• Generación de Servicios Dinámicos: Implementación de servicios IoT a partir de descripciones de tareas.
• Recuperación de Enlaces de Trazabilidad: Identificación de qué archivos de código implementan elementos documentados en la arquitectura.
• Generación de Microservicios: Creación de implementaciones completas de microservicios (controladores, servicios, modelos de datos) a partir de requisitos.

4. Resultados y Estado Actual

• Disponibilidad: Tanto la herramienta CLI como la plataforma web son de código abierto y accesibles públicamente.
• Implementación: Actualmente, dos tareas (Generación de ADRs y Recuperación de Enlaces de Trazabilidad) tienen pipelines de evaluación totalmente automatizados en la CLI.
• Resultados Publicados: El leaderboard ya muestra resultados verificados de múltiples LLMs para las cinco tareas. Para las tres tareas restantes, los resultados de los estudios originales se muestran mientras se integran sus pipelines de evaluación en la herramienta CLI.
• Reproducibilidad: El paquete de replicación incluye todos los datos y scripts necesarios, licenciado bajo CC BY 4.0, con un DOI persistente en Zenodo.

5. Significado e Impacto

• Puente entre Investigación y Práctica: ArchBench permite a los investigadores comparar enfoques directamente y a los practicantes identificar qué modelos o agentes funcionan mejor para tareas arquitectónicas específicas, facilitando la adopción de herramientas.
• Aceleración de la Investigación: Al proporcionar datos y métricas comunes, elimina la necesidad de que cada estudio cree su propia infraestructura de evaluación, permitiendo un progreso más rápido en el campo de la GenAI para arquitectura.
• Habilitación de Nuevas Preguntas de Investigación: Facilita el estudio de cómo varía el razonamiento arquitectónico entre familias de modelos, la correlación de rendimiento entre tareas y el impacto de las estrategias de prompting.
• Limitaciones y Futuro: El artículo reconoce que algunas métricas automatizadas pueden no capturar completamente la "calidad arquitectónica" y que aún faltan entornos de prueba para tareas que requieren el uso de herramientas por parte de agentes. El futuro incluye la integración de más tareas, entornos de evaluación para agentes y ciclos de evaluación regulares para nuevos modelos.

En resumen, ArchBench establece la infraestructura fundamental necesaria para transformar la evaluación de la IA en arquitectura de software de un esfuerzo fragmentado y ad-hoc a una disciplina rigurosa, reproducible y comparativa.