Can LLMs Write Correct TLA+ Specifications? Evaluating Natural-Language-to-TLA+ Generation

Imagina que estás intentando enseñarle a un robot muy inteligente y culto a escribir una receta matemática estricta para una máquina compleja. Esta máquina es un "sistema distribuido" (como los servidores en la nube que ejecutan Amazon o Microsoft), y la receta está escrita en un lenguaje especial llamado TLA+.

Este lenguaje es como un rompecabezas de alto riesgo. Si te falta un solo símbolo diminuto o si la lógica es ligeramente incorrecta, la máquina podría funcionar en la receta, pero fallar en la vida real. El problema es que escribir estas recetas a mano es difícil y lento. Por ello, los investigadores se preguntaron: ¿Podemos simplemente pedirle a una IA moderna (un Modelo de Lenguaje Grande, o LLM) que escriba estas recetas por nosotros?

Este documento es el primer gran informe de resultados sobre esa pregunta. Aquí está lo que encontraron, explicado de forma sencilla:

1. La brecha entre "Gramática vs. Significado"

Los investigadores pidieron a 30 IAs diferentes que escribieran estas recetas de TLA+ basadas en descripciones en inglés sencillo.

• La buena noticia (Gramática): El 26% de las veces, la IA escribió una receta que parecía correcta superficialmente. El "corrector ortográfico" (llamado SANY) dijo: "Está bien, las palabras y los símbolos están en el orden correcto".
• La mala noticia (Significado): Sin embargo, cuando realmente ejecutaron la receta a través de un "probador de lógica" (llamado TLC) para ver si realmente funcionaba, solo el 8,6% de las veces pasó la prueba.

La analogía: Imagina pedirle a un estudiante que escriba un contrato legal. El estudiante usa una ortografía y gramática perfectas (26% de éxito), pero el contrato que escribió en realidad dice lo opuesto de lo que se pretendía, o deja fuera una cláusula crucial, haciéndolo legalmente inútil (solo 8,6% de éxito). La IA es excelente imitando la apariencia del lenguaje, pero a menudo falla en comprender la lógica que hay detrás.

2. Más grande no siempre es mejor

Normalmente, asumimos que un modelo de IA más grande y potente hará un mejor trabajo. Pero en este estudio, eso no fue así.

• La sorpresa: Un modelo de IA más pequeño (DeepSeek r1:8b) hizo un trabajo mucho mejor que su "hermano mayor" masivo (DeepSeek r1:70b).
• ¿Por qué? El modelo más pequeño fue entrenado específicamente para "pensar paso a paso" (como un estudiante de matemáticas que muestra su procedimiento), mientras que el modelo más grande fue entrenado con tantos datos generales de internet que se confundió con las reglas estrictas de TLA+. Es como un chef especializado que sabe exactamente cómo hornear un suflé, frente a un generalista que sabe cocinar de todo pero podría complicarse demasiado con una receta específica.

3. Los "expertos en código" fallaron

Los investigadores probaron IAs que son famosas por escribir código informático (como Python o Java). Sorprendentemente, estos "expertos en código" lo hicieron peor que las IAs de propósito general.

• La razón: Estos modelos están tan acostumbrados a escribir código con puntos y coma (;) o llaves ({}) que seguían añadiendo accidentalmente esos símbolos en la receta de TLA+. Dado que TLA+ no utiliza esos símbolos, la receta se rompía inmediatamente. Es como un carpintero intentando reparar un reloj pero intentando usar un martillo por accidente porque es lo que usa para todo lo demás.

4. El truco de "paso a paso" funcionó mejor

Los investigadores probaron cuatro formas diferentes de pedir ayuda a la IA. El método más exitoso fue llamado "Prompting Progresivo" (Progressive Prompting).

• Cómo funcionaba: En lugar de pedirle a la IA que escribiera toda la receta de una vez, le pidieron que la construyera pieza por pieza: "Primero, escribe el título. Ahora, escribe las variables. Ahora, escribe las reglas".
• El resultado: Este fue el único método que produjo recetas completamente funcionales (la tasa de éxito del 8,6%). Es como construir una casa: si intentas construir el techo, las paredes y los cimientos de un solo salto gigante, probablemente fallarás. Pero si construyes cada habitación una por una, tienes más posibilidades de éxito.

5. Las "alucinaciones" de la IA

El documento encontró cinco formas específicas en las que la IA cometía los mismos errores, lo que llaman "alucinaciones":

1. Símbolos incorrectos: Usar símbolos matemáticos elegantes (como ∧) en lugar de los símbolos de texto plano que requiere TLA+ (como /\).
2. Mezcla de lenguajes: Añadir accidentalmente puntos y coma o acentos graves de otros lenguajes de programación.
3. Pensar en voz alta: La IA a veces pegaba su propio "proceso de pensamiento" (como ...) directamente en la receta final, lo que la rompía.
4. Longitud incorrecta: A veces la IA escribía una receta 9 veces más larga de lo debido, o a veces no escribía casi nada.
5. Estructura rota: Faltaban los marcadores de "final" de la receta, dejando el documento incompleto.

Conclusión

El documento concluye que las IA actuales aún no pueden escribir especificaciones de TLA+ de forma fiable por sí solas. Aunque pueden imitar la apariencia del lenguaje, todavía cometen demasiados errores lógicos para ser confiables sin que un experto humano revise cada línea.

Los investigadores sugieren que, para solucionar esto, necesitamos:

• Utilizar el método de prompting "paso a paso".
• Utilizar modelos más pequeños centrados en el razonamiento en lugar de modelos masivos generales.
• Construir herramientas que corrijan automáticamente los errores comunes (como eliminar los símbolos incorrectos) antes de que la IA intente ejecutar la receta.

Hasta entonces, escribir estas recetas críticas de sistemas sigue siendo un trabajo para expertos humanos, con la IA actuando como un asistente útil pero propenso a errores.