LLM attribution analysis across different fine-tuning strategies and model scales for automated code compliance

Título: Análisis de Atribución de Modelos de Lenguaje Grande (LLM) a través de Diferentes Estrategias de Ajuste Fino y Escalas de Modelo para el Cumplimiento Automatizado de Códigos

1. Planteamiento del Problema

La investigación actual sobre el uso de Modelos de Lenguaje Grande (LLM) para el cumplimiento automatizado de códigos (ACC, por sus siglas en inglés) en la industria de la Arquitectura, Ingeniería y Construcción (AEC) se ha centrado casi exclusivamente en métricas de rendimiento y precisión. Esto ha llevado a tratar a los LLM como "cajas negras", ignorando cómo las decisiones de entrenamiento (estrategias de ajuste fino y escala del modelo) afectan su comportamiento interpretativo interno.
Existe una brecha de conocimiento crítica: no está claro cómo influyen estrategias como el ajuste fino completo (FFT) frente a métodos de ajuste fino eficientes en parámetros (PEFT, como LoRA y QLoRA), o cómo la escala del modelo (número de parámetros), afectan los mecanismos internos de interpretación. Esta falta de transparencia limita la confianza y la adopción de estos sistemas para tareas regulatorias críticas.

2. Metodología

El estudio emplea un análisis de atribución basado en perturbaciones para cuantificar y comparar el comportamiento interpretativo de los LLM. La metodología se divide en tres etapas:

• Preparación de Datos y Modelos: Se utilizaron pares de datos reales de reglas de construcción y sus implementaciones en scripts de Python. Se configuraron dos comparaciones principales:
  1. Estrategias de Ajuste Fino: Se compararon FFT, LoRA y QLoRA en modelos de 3B de parámetros (familias LLaMA, Hermes, Falcon, Phi, Qwen).
  2. Escala del Modelo: Se aplicó QLoRA a modelos de 0.5B a 22B de parámetros (incluyendo Qwen, LLaMA, Mistral, Nemo-Mistral).
• Evaluación de Rendimiento: Se utilizó CodeBERTScore para medir la similitud semántica entre los scripts generados y los de referencia, evitando métricas de coincidencia léxica simple.
• Análisis de Atribución (Abstracción de Características): Se utilizó la biblioteca Captum para implementar un método de perturbación. El algoritmo:
  • Aisla sistemáticamente cada palabra en una regla de entrada.
  • Calcula el cambio en la probabilidad logarítmica de generar el script objetivo al eliminar esa palabra.
  • Genera puntuaciones de atribución que indican la influencia de cada palabra (positiva si aumenta la confianza, negativa si la disminuye).
  • Se excluyeron palabras de parada comunes para centrarse en términos significativos.

3. Contribuciones Clave

• Análisis de "Caja Blanca" en ACC: Es uno de los primeros estudios que trasciende las métricas de rendimiento para investigar los mecanismos de interpretación internos de los LLM en tareas de traducción de reglas de construcción a código.
• Comparación Sistemática: Proporciona evidencia empírica sobre cómo las estrategias de entrenamiento (FFT vs. PEFT) y la escala del modelo alteran la atención del modelo hacia características textuales específicas.
• Metodología de Visualización: Introduce un enfoque de normalización de color individualizado para comparar visualmente la intensidad de atribución entre modelos de diferentes escalas, permitiendo identificar patrones de priorización de características.

4. Resultados Principales

A. Impacto de la Estrategia de Ajuste Fino:

• Rendimiento: El ajuste fino completo (FFT) obtuvo consistentemente las puntuaciones más altas en CodeBERTScore, seguido por LoRA y, finalmente, QLoRA. La cuantización de 4 bits en QLoRA introdujo una pérdida de fidelidad significativa, afectando la calidad del código generado.
• Patrones de Atribución:
  • FFT: Produce patrones de atribución estadísticamente diferentes y más concentrados. El modelo se enfoca decisivamente en un conjunto pequeño de características textuales clave (ej. "capacidad de bombeo", "intensidad de lluvia").
  • PEFT (LoRA/QLoRA): Muestran patrones de atribución más difusos, distribuyendo la importancia entre muchas palabras. Esto sugiere una mayor incertidumbre del modelo y una falta de aprendizaje de un mapeo latente tan fuerte como el de FFT.
  • Similitud Cosine: La similitud entre LoRA y QLoRA es alta (0.451), pero significativamente diferente de la similitud con FFT (p < 0.001), indicando que FFT aprende una lógica de priorización distinta.

B. Impacto de la Escala del Modelo:

• Rendimiento: Existe una correlación positiva entre el tamaño del modelo y el rendimiento hasta aproximadamente 7B de parámetros. Más allá de este punto (7B a 22B), el rendimiento se estanca (plateau), sugiriendo rendimientos decrecientes para esta tarea específica bajo QLoRA.
• Evolución de la Estrategia Interpretativa:
  • Modelos Pequeños (3B): Tienden a distribuir la atribución de manera amplia, lo que indica una comprensión menos refinada o incertidumbre sobre qué palabras son críticas.
  • Modelos Grandes (22B): Desarrollan estrategias interpretativas más sofisticadas y concentradas.
    • Priorizan identificadores de reglas (ej. "4.3.11d") y restricciones numéricas (ej. "2.2 metros") con mayor fuerza que los modelos pequeños.
    • Muestran picos de atribución más agudos en palabras clave que dictan la lógica del script (ej. "perímetro" en accesos para bomberos), indicando una capacidad superior para extraer parámetros relevantes y abstraer la semántica de la regla.

5. Significado e Implicaciones

Este estudio es fundamental para avanzar hacia LLMs más transparentes y explicables en la industria AEC.

• Confianza y Adopción: Al demostrar que los modelos no solo "aciertan" sino que cómo interpretan las reglas varía según su configuración, se abre la puerta a sistemas más auditables.
• Selección de Modelos: Los resultados sugieren que, aunque los modelos más grandes (22B) ofrecen ventajas en la extracción de parámetros críticos, el ajuste fino completo (FFT) sigue siendo superior en la precisión de la lógica de atribución, aunque a un costo computacional mayor.
• Futuro: El trabajo establece una base para entender la "caja negra" de los LLM en tareas regulatorias, permitiendo a los ingenieros y reguladores confiar mejor en la automatización del cumplimiento de códigos, siempre que se comprendan las limitaciones y sesgos de atención de cada modelo.