💻 computer science

Reducing Hallucinations in LLM-Generated Code via Semantic Triangulation

Este artículo presenta la triangulación semántica, un marco teórico que reduce las alucinaciones en el código generado por modelos de lenguaje mediante la transformación de problemas en variantes disociativas para verificar la consistencia entre soluciones independientes, logrando así una mayor precisión en la selección de programas correctos en comparación con métodos existentes.

Autores originales: Yihan Dai, Sijie Liang, Haotian Xu, Peichu Xie, Sergey Mechtaev

Publicado 2026-03-31

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yihan Dai, Sijie Liang, Haotian Xu, Peichu Xie, Sergey Mechtaev

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que los Modelos de Lenguaje Grandes (como los que usan para escribir código) son como genios muy inteligentes pero un poco soñadores. A veces, cuando les pides que escriban un programa, no solo inventan soluciones, sino que a veces "alucinan": crean código que parece perfecto a primera vista, pero que tiene errores ocultos o simplemente no funciona.

El problema es que, si le pides al mismo genio que se revise a sí mismo (o que invente un examen para su propio trabajo), es muy probable que se engañe a sí mismo. Si el genio cometió un error, también inventará un examen que aprueba ese error. Es como pedirle a un ladrón que escriba su propia declaración de inocencia; ¡siempre dirá que es inocente!

Aquí es donde entra la idea brillante de este paper: La Triangulación Semántica.

🕵️‍♂️ La Analogía del Detective y los Sospechosos

Imagina que eres un detective (el sistema de verificación) y tienes un grupo de sospechosos (los programas generados por la IA). Quieres saber cuál es el inocente (el código correcto).

El método antiguo (Votación Mayoritaria):
Preguntas a todos los sospechosos: "¿Qué hiciste?". Si 10 de ellos dicen la misma mentira (un error común), el detective cree que esa es la verdad. Pero si todos están "coludidos" (la IA comete el mismo error en todos sus intentos), la votación solo confirma la mentira.
El método de los "Testigos Parciales" (Especificaciones automáticas):
Pides a la IA que invente un testigo (una especificación formal) para ver si los sospechosos dicen la verdad. Pero como el testigo también lo inventó la misma IA, si el sospechoso miente, el testigo también mintirá para coincidir con él. Es como traer a un testigo que es primo del sospechoso; ¡obviamente van a coincidir en la coartada falsa!
La Triangulación Semántica (El nuevo método):
Aquí es donde el detective es realmente listo. En lugar de preguntar a los mismos sospechosos de la misma manera, cambia radicalmente la perspectiva.

Imagina que tienes un sospechoso que dice: "Robé el banco usando una escalera".
- Pregunta normal: "¿Cómo subiste?" (Respuesta: "Con la escalera").
- Pregunta de Triangulación (Inversión): En lugar de preguntar cómo subió, le preguntas: "Si te doy una escalera y un banco, ¿qué persona podría haber subido?".
Si el sospechoso es un mentiroso (alucinación), su historia original y su historia invertida probablemente no coincidirán. Se le caerá la máscara porque la IA no tiene una comprensión real de la lógica, solo imita patrones. Si cambia el ángulo de la pregunta, el patrón de mentira se rompe.

Pero, si el sospechoso es inocente (código correcto), su historia se mantendrá coherente sin importar desde qué ángulo la mires. La verdad es robusta; la mentira no.

🔺 ¿Cómo funciona en la práctica?

El equipo de investigadores creó una herramienta llamada just-tri-it que hace tres cosas mágicas para "desenredar" la mentira:

Inversión del Problema: Si el código original debe convertir una lista de nombres en números, la herramienta le pide a la IA que escriba un código que haga lo contrario: convertir esos números de nuevo en nombres. Si el código original tiene un error, es muy difícil que el código inverso (que requiere una lógica totalmente distinta) tenga el mismo error exacto.
Enumeración de Respuestas: En lugar de pedir "una solución", le pide a la IA: "Dame todas las soluciones posibles". Luego compara si la solución original está dentro de esa lista completa.
Descomposición: Si el problema es muy grande, lo rompe en piezas pequeñas y verifica que cada pieza encaje perfectamente con las otras.

🏆 Los Resultados (La prueba de fuego)

Probaron esto con modelos muy avanzados (como GPT-4o y DeepSeek) en problemas de programación difíciles.

El resultado: La triangulación logró encontrar el código correcto un 24% más a menudo que los métodos anteriores.
Lo más importante: Funciona incluso cuando la IA tiene muy poca probabilidad de acertar (cuando está "atascada" y genera muchos errores). Los métodos antiguos fallaban aquí, pero la triangulación lograba detectar la verdad entre la niebla.
El caso de los problemas "inexactos": A veces hay muchas respuestas correctas (por ejemplo, "dame un número par"). Los métodos antiguos se confundían porque no había una única respuesta correcta. La triangulación entendió que, aunque las respuestas sean diferentes, todas deben encajar en la lógica inversa, y así pudo elegir correctamente.

💡 En resumen

Este paper nos dice que para detectar las alucinaciones de la IA, no debemos pedirle que se revise a sí misma con sus propias reglas. En su lugar, debemos cambiar el juego por completo: pedirle que resuelva el problema al revés, o desde otro ángulo.

Si el código es real y correcto, sobrevivirá a cualquier cambio de perspectiva. Si es una alucinación, se romperá como un castillo de naipes cuando sople un viento diferente. Es una forma de usar la lógica para que la IA no pueda engañarse a sí misma.

Resumen Técnico: Reducción de Alucinaciones en Código Generado por LLM

1. El Problema: Alucinaciones y Correlación de Errores

Los Grandes Modelos de Lenguaje (LLM) pueden generar código ejecutable a partir de descripciones en lenguaje natural, pero a menudo producen programas con errores o vulnerabilidades debido a "alucinaciones" (confabulaciones).

Limitación de los enfoques actuales: Las estrategias existentes para verificar la corrección (como la votación por pluralidad, la generación de pruebas o la auto-formalización de especificaciones) fallan porque los "testigos de plausibilidad" (tests, especificaciones) son generados por el mismo modelo imperfecto.
Correlación de errores: Dado que el modelo y sus "testigos" comparten la misma lógica defectuosa, tienden a corroborar mutuamente los mismos errores en lugar de detectarlos. Esto es especialmente crítico en problemas "inexactos" (donde existen múltiples soluciones válidas) y cuando la probabilidad de generar una solución correcta es baja.

2. Metodología: Triangulación Semántica

Los autores proponen un marco teórico y práctico llamado Triangulación Semántica. La intuición central es tratar el problema como un detective que expone mentiras al abordar la narrativa desde ángulos fundamentalmente diferentes y no esperados.

Conceptos Clave:

Transformación Disociativa ( $\tau$ ): Transformar el problema original $d$ en una variante $d'$ que requiera un algoritmo fundamentalmente diferente (ej. invertir el problema, enumerar respuestas). Esto rompe la correlación de errores, ya que es improbable que el modelo cometa el mismo error al implementar dos estrategias computacionales distintas.
Propiedad Hiper ( $\phi$ ): Una relación binaria entre programas que verifica la consistencia entre la solución del problema original y la solución del problema transformado.
Requisitos Teóricos:
- Inducción de Biyección: La transformación debe establecer una correspondencia uno a uno entre las clases de equivalencia de programas (correctos e incorrectos). Esto asegura que los errores no se "mapeen" casualmente entre sí.
- Acoplamiento de Corrección: Una solución correcta para $d$ debe mapearse a una solución correcta para $d'$ .

Métodos de Implementación (Herramienta just-tri-it):
El marco se implementa mediante cuatro métodos concretos que transforman el problema automáticamente:

Inversión de Problema (FWD-INV / FWD-SINV): Transformar el problema para que la salida sea la entrada y viceversa (o una inversión parcial).
Enumeración de Respuestas (ENUM-SINV): Generar un problema que enumere todas las soluciones válidas para una entrada dada, y luego verificar la consistencia con una inversión de conjunto.
Descomposición (STREAM): Para problemas de flujo de datos, descomponer el problema en operaciones punto a punto.

Estos métodos se validan teóricamente utilizando un modelo matemático de "loros estocásticos" (LLMs que carecen de comprensión semántica real) y se demuestran formalmente en Lean.

3. Contribuciones Clave

Marco Teórico: Introducción de la "Triangulación Semántica" como un método fundamentado teóricamente para detectar alucinaciones, demostrando matemáticamente que aumenta la probabilidad de identificar un programa correcto en comparación con la votación por pluralidad.
Pruebas Formales: Implementación y verificación mecánica (en Lean) de que los métodos propuestos satisfacen los requisitos de inducción de biyección y acoplamiento de corrección.
Herramienta Práctica (just-tri-it): Un sistema que automatiza la transformación de problemas, la generación de soluciones y la verificación de consistencia mediante propiedades hiper.
Manejo de Problemas Inexactos: Es el único método que logra manejar consistentemente problemas donde existen múltiples soluciones válidas no equivalentes, un escenario donde fallan la votación por pluralidad y las especificaciones auto-formalizadas.

4. Resultados Experimentales

La herramienta se evaluó en los benchmarks LiveCodeBench (LCB) y CodeElo (incluyendo subconjuntos de problemas inexactos) utilizando modelos de vanguardia: GPT-4o, DeepSeek-V3 y Gemini 2.5 Flash.

Mejora en la Selección de Código Correcto: La triangulación aumentó la probabilidad de seleccionar un programa correcto en un 24% en comparación con las mejores líneas base (generación de pruebas, metamorfismo, especificaciones Hoare).
Precisión en Selección o Abstención: En escenarios donde el sistema debe elegir una solución o abstenerse si no está seguro, just-tri-it logró un 26% más de puntuación F1 en abstención que las líneas base.
Robustez en Bajas Probabilidades: A diferencia de otros métodos que fallan cuando la probabilidad de éxito del modelo es baja, la triangulación pudo identificar soluciones correctas con probabilidades de muestreo tan bajas como 0.07.
Superioridad sobre Especificaciones Hoare: Las especificaciones auto-formalizadas fallaron frecuentemente (73% de las veces en un caso de estudio) porque eran demasiado permisivas y no inducían una biyección, permitiendo que soluciones incorrectas coincidieran con especificaciones incorrectas.

5. Significado e Impacto

Paradigma de Verificación: Cambia el enfoque de "buscar la solución más frecuente" a "buscar la solución que sobrevive a transformaciones disociativas". Esto mitiga el problema de los errores correlacionados, que es la causa principal de fallos en los métodos de consenso actuales.
Viabilidad en Entornos Reales: Demuestra que es posible aumentar la fiabilidad del código generado por IA sin necesidad de especificaciones formales manuales, utilizando únicamente el poder del modelo para transformar y verificar sus propias salidas bajo restricciones matemáticas estrictas.
Costo Computacional: Aunque el método implica un mayor costo en tokens y tiempo (aprox. 2.5x más tiempo y 4.9x más tokens que la votación simple), el aumento en la fiabilidad y la capacidad de resolver problemas difíciles justifica el costo en aplicaciones críticas.

En conclusión, el artículo presenta una solución teóricamente sólida y empíricamente validada para uno de los mayores obstáculos en la programación asistida por IA: la detección fiable de errores cuando el modelo mismo no puede distinguir entre verdad y alucinación.