Resumen Técnico: Evaluación, Explotación y Mitigación de Fallos de Robustez Sintáctica en la Generación de Código Basada en LLM

Declaración del Problema

Los Modelos de Lenguaje Grande (LLM) se utilizan cada vez más para la generación de código, particularmente en computación científica y dominios que requieren razonamiento matemático. Surge una preocupación crítica de fiabilidad cuando se asigna a los LLM la tarea de generar código basándose en prompts que contienen fórmulas matemáticas. Aunque dos fórmulas pueden ser semánticamente equivalentes (por ejemplo, $a \times x + b = 0$ y $a \times x + a + b = a$), difieren sintácticamente. El artículo postula que un generador de código basado en LLM robusto debería producir código semánticamente equivalente independientemente de tales variaciones sintácticas en el prompt de entrada. Sin embargo, los autores observan que los modelos actuales de última generación a menudo fallan en mantener esta consistencia, generando código diferente o incorrecto para fórmulas semánticamente idénticas pero sintácticamente distintas. Esta falta de robustez sintáctica plantea un riesgo para las pipelines de generación de código automatizada, especialmente cuando las entradas están sujetas a variaciones naturales o manipulaciones adversarias.

Metodología

Definición Formal de Robustez Sintáctica

Los autores formalizan la robustez sintáctica como el grado en que un generador de código basado en LLM ($G$) produce programas semánticamente equivalentes ($C$) para prompts semánticamente equivalentes pero sintácticamente diferentes ($P$).

• Estructura del Prompt: Un prompt $P$ se define como una tupla $\langle T, F \rangle$, donde $T$ es texto en inglés y $F$ es una fórmula matemática.
• Equivalencia: Dos fórmulas $F_1$ y $F_2$ son semánticamente equivalentes ($[[F_1]] \equiv [[F_2]]$) si evalúan al mismo valor bajo la misma valuación. Dos programas son equivalentes si producen salidas idénticas para todas las entradas.
• Métrica: La robustez sintáctica se mide como el porcentaje de variaciones sintácticas de una fórmula para las cuales el LLM genera código equivalente a una solución de referencia.

Diseño Experimental

1. Construcción del Dataset: El estudio utiliza 52 prompts de diversas fuentes, incluido el dataset Clover (especificaciones formales), HackerRank, MATH y MaTT. Los prompts se categorizan en:
   • Prompts de Razonamiento: Requieren manipulación matemática (por ejemplo, integración) para derivar código.
   • Prompts de Traducción: Requieren la traducción directa de una fórmula dada a código.
2. Mutaciones Sintácticas: Los autores definen una gramática libre de contexto para fórmulas matemáticas e introducen 18 tipos de mutaciones para ecuaciones y 12 para expresiones. Estas mutaciones (por ejemplo, adición conmutativa, sumar cero, renombrado de variables) preservan la semántica pero alteran la sintaxis. Generan variaciones hasta una "distancia sintáctica" de 5 (número de pasos de mutación).
3. Pipeline de Evaluación:
   • Generación: Los LLM generan código para prompts originales y mutados.
   • Verificación: El código generado se compila y se somete a pruebas diferenciales frente a soluciones de referencia utilizando 100 entradas aleatorias. Las comparaciones de punto flotante utilizan un umbral epsilon para tener en cuenta los errores de redondeo.
   • Modelos Evaluados: GPT-3.5, GPT-4o, Llama-3.1-70B, CodeLlama y variantes mejoradas en razonamiento (Cadena de Pensamiento, Comprensión Profunda de Problemas).

Estrategias de Ataque

El artículo propone estrategias de ataque de caja negra para explotar los fallos de robustez sintáctica aplicando mutaciones para minimizar la puntuación de robustez del modelo:

• NaiveUniform: Selección aleatoria de mutaciones.
• Uniform: Selección aleatoria que garantiza una distancia sintáctica específica.
• Weighted: Selección probabilística basada en puntuaciones de impacto de mutación derivadas del perfilado.
• Top-K: Selección de entre el 50 % superior de mutaciones identificadas como más perjudiciales para la robustez.

Estrategia de Mitigación

Para contrarrestar estos fallos, los autores proponen un paso de preprocesamiento que implica reducción de fórmulas. Esta técnica aplica un conjunto de reglas de reducción (por ejemplo, eliminar adiciones/sustracciones redundantes, desplazar términos a un lado de una ecuación) para simplificar la fórmula matemática en el prompt antes de que se alimente al LLM. La hipótesis es que las fórmulas más cortas y simplificadas son más fáciles de procesar correctamente para los LLM.

Resultados Clave

1. Falta de Robustez Sintáctica (RQ1)

Los LLM de última generación no son sintácticamente robustos. A medida que aumenta la distancia sintáctica (número de mutaciones), el grado de robustez disminuye consistentemente en todos los modelos.

• GPT-4o+CoT tuvo el mejor desempeño con una robustez promedio del 87,4 %, seguido por GPT-4o con un 83,87 %.
• Incluso los mejores modelos mostraron una disminución en el rendimiento a medida que aumentaban las mutaciones, con GPT-3.5 experimentando una caída significativa (-9,52 % por paso de distancia).

2. Razonamiento vs. Traducción (RQ2)

Existe una disparidad significativa en la robustez basada en el tipo de prompt:

• Los prompts de traducción (de fórmula a código directa) exhibieron una alta robustez (~83,80 %).
• Los prompts de razonamiento (que requieren derivación matemática) exhibieron una robustez significativamente menor (~42,86 %).
• Los prompts de razonamiento sufrieron una disminución más pronunciada en la robustez a medida que aumentaba la distancia sintáctica en comparación con los prompts de traducción.

3. Efectividad de los Ataques (RQ3)

Las estrategias de ataque propuestas degradan eficazmente la robustez sintáctica.

• Los ataques Top-K y Weighted fueron los más efectivos.
• Utilizando la estrategia Top-K, la robustez sintáctica de GPT-3.5 en prompts de razonamiento cayó al 14,64 % en la distancia 5.
• Los ataques Top-K requirieron menos mutaciones para lograr un nivel objetivo de baja robustez en comparación con otras estrategias (por ejemplo, reducir la robustez al 10 % requirió solo 3 mutaciones con Top-K frente a 5 con Weighted).

4. Mitigación mediante Reducción (RQ4)

El paso de preprocesamiento de reducción de fórmulas mejoró significativamente la robustez.

• Aplicar reducciones a prompts mutados aumentó la robustez sintáctica en un promedio del 20,37 % entre los modelos.
• Para GPT-4o+CoT, las reducciones mejoraron la robustez incluso sobre los prompts originales (no mutados) en un 0,6 %.
• La técnica mitigó con éxito el impacto de los ataques Top-K, restaurando los niveles de robustez cercanos a los de los prompts originales.

Significado y Afirmaciones

El artículo afirma ser el primero en definir formalmente y evaluar sistemáticamente la robustez sintáctica específicamente para la generación de código basada en LLM que involucra fórmulas matemáticas. Su significado radica en:

1. Identificación de una Vulnerabilidad Crítica: Demostrar que los LLM son altamente sensibles a las variaciones sintácticas en las entradas matemáticas, particularmente cuando se requiere razonamiento matemático.
2. Exposición Adversaria: Mostrar que estas vulnerabilidades pueden ser explotadas mediante ataques de caja negra para inducir fallos en la generación de código con modificaciones mínimas del prompt.
3. Mitigación Práctica: Proponer una técnica de preprocesamiento ligera y agnóstica al modelo (reducción de fórmulas) que mejora significativamente la fiabilidad sin requerir reentrenamiento del modelo ni cambios arquitectónicos.
4. Punto de Referencia: Proporcionar un marco formal, un dataset de 52 prompts con reglas de mutación y métricas de evaluación para evaluar la robustez en investigaciones futuras.

Los autores concluyen que, aunque los LLM muestran promesa en la generación de código, su falta de robustez sintáctica en contextos matemáticos hace necesario el uso de estrategias de mitigación como la reducción de fórmulas antes de su implementación en pipelines críticas o automatizadas.