Resumen Técnico: ¿Son los LLM traductores de lógica formal estables en el razonamiento lógico a través de textos lingüísticamente diversificados?

1. Definición del Problema

Los sistemas de razonamiento lógico que utilizan Modelos de Lenguaje de Gran Escala (LLM) suelen emplear un paradigma neuro-simbólico donde el LLM traduce el lenguaje natural (NL) a lógica formal, la cual es posteriormente procesada por un resolvedor simbólico. Aunque este enfoque es efectivo, depende en gran medida de que el paso de traducción sea fiel y consistente. Una vulnerabilidad crítica, aunque poco explorada, es la deriva de símbolos (symbol drift): el fallo de los LLM al mapear expresiones semánticamente equivalentes al mismo símbolo lógico cuando dichas expresiones aparecen en diferentes formas lingüísticas (por ejemplo, sinónimos, paráfrasis o variaciones sintácticas).

Los benchmarks existentes para el razonamiento lógico suelen utilizar un lenguaje altamente uniforme, repitiendo a menudo las mismas formas superficiales para los mismos conceptos. En consecuencia, no evalúan si los LLM pueden mantener la consistencia de símbolos ante variaciones lingüísticas realistas. Esta brecha conduce a una sobreestimación de la robustez de los LLM, ya que el texto del mundo real expresa frecuentemente el mismo concepto a través de diversas formulaciones, lo que puede romper la cadena de razonamiento y causar errores en el solver.

2. Metodología

2.1 SoLT: Un Benchmark para la Diversidad Lingüística

Para abordar la falta de evaluación de la estabilidad de la traducción, los autores introducen SoLT (Stability of Logical Translation). SoLT no es un nuevo conjunto de datos creado desde cero, sino una transformación sistemática de conjuntos de datos de razonamiento existentes (LogicDeduction, ProntoQA, FOLIO, ProofWriter, ProverQA) utilizando un método de Diversificación Lingüística Invariante a la Lógica.

El proceso de diversificación opera en tres etapas:

1. Identificación de Conceptos Repetidos: El sistema identifica expresiones superficiales que aparecen múltiples veces dentro de un problema ($freq_q(e) \ge 2$).
2. Construcción de la Estrategia de Diversificación: Para cada concepto repetido, el sistema genera variantes en tres niveles:
   • Nivel de palabra: Sustitución de sinónimos (usando WordNet).
   • Nivel de frase: Parafraseo (usando PPDB).
   • Nivel de oración: Reescrituras sintácticas (por ejemplo, alternancia de voz activa-pasiva, reformulación en tercera persona) utilizando LLMs.
3. Generación de Candidatos bajo Filtrado Semántico: Los candidatos generados se filtran utilizando modelos potentes de incrustación de oraciones (por ejemplo, BGE-large-en-v1.5) para asegurar que la similitud semántica supere un umbral ($\theta = 0.90$). Un LLM luego ensambla el problema diversificado final, seleccionando candidatos que maximicen la diversidad superficial mientras minimizan las formas repetidas para conceptos idénticos.

La validación mediante puntuaciones de similitud de incrustaciones y puntuaciones de invariancia lógica humana/LLM (escala de 1 a 5) confirma que SoLT preserva el significado semántico y la estructura lógica, aumentando significativamente la variación lingüística.

2.2 MenTaL: Un Marco Guiado por la Representación Mental

Para mitigar la deriva de símbolos, los autores proponen MenTaL (Mental Representation Table-guided Translation). Inspirado en las teorías cognitivas de la representación mental, MenTaL guía explícitamente al LLM para construir y mantener una Tabla de Representación Mental (MRT) durante el proceso de traducción.

La MRT mapea expresiones semánticamente equivalentes a un símbolo lógico unificado ($\sigma$). El marco define tres operaciones de actualización para la tabla:

• Extensión (Extending): Asignar un nuevo símbolo a un concepto previamente no visto.
• Reutilización (Reusing): Mapear una nueva expresión a un símbolo existente si es semánticamente equivalente ($e^{(i)} \equiv e^{(j)}$).
• Verificación y Refinamiento (Checking & Refining): Ajustar los mapeos para solapamientos parciales o subsumciones (por ejemplo, mapear "programa popular" a un símbolo atómico refinado).

MenTaL puede implementarse mediante:

• Aprendizaje en Contexto (In-Context Learning): Proporcionar ejemplos de construcción de la MRT en el prompt para modelos de código cerrado.
• Ajuste Fino Supervisado (Supervised Fine-Tuning - SFT): Entrenar modelos de código abierto más pequeños (por ejemplo, LLaMA-3-8B) utilizando trazas de razonamiento generadas por modelos de alto rendimiento usando MenTaL.

3. Contribuciones Clave

1. Benchmark SoLT: Un método general y un benchmark resultante que reescribe conjuntos de datos de razonamiento en formas diversas y lógicamente equivalentes para evaluar sistemáticamente la estabilidad de la traducción bajo la variación lingüística.
2. Marco MenTaL: Un enfoque ligero y generalizable que impone un mapeo de símbolos consistente mediante la organización explícita de las relaciones concepto-símbolo en una tabla de representación mental.
3. Análisis Empírico: Experimentos extensos que demuestran que los LLM actuales sufren de una deriva de símbolos generalizada bajo la diversidad lingüística y que MenTaL mitiga eficazmente este problema.

4. Resultados Experimentales

4.1 Instabilidad de los LLM Actuales

Los experimentos en SoLT utilizando cuatro LLMs (GPT-3.5, GPT-4, DeepSeek-V3, DeepSeek-R1) y tres solvers simbólicos revelan una degradación significativa del rendimiento:

• Caída de la Precisión: Bajo prompting directo, la precisión cae sustancialmente en entradas diversificadas (por ejemplo, de 0.51 a 0.24 en promedio en las tareas).
• Puntuación de Dispersión de Símbolos (Symbol Dispersion Score - SDS): Un nuevo métrica que cuantifica la deriva de símbolos. El SDS aumenta bruscamente en los inputs de SoLT (indicando un mapeo inconsistente) mientras permanece cerca de cero en los conjuntos de datos originales.
• Análisis de Errores: El principal modo de fallo son los errores de lógica causados por la asignación inconsistente de símbolos, más que errores de análisis sintáctico o de ejecución. Incluso variaciones lingüísticas leves (por ejemplo, sustitución de sinónimos) causan una clara degradación de la precisión.
• Limitaciones del Ajuste de Prompts: Los ajustes simples de prompts o los ejemplos de pocos disparos (few-shot) que fomentan la consistencia no lograron mejorar significativamente el rendimiento o reducir el SDS en las tareas diversificadas.

4.2 Efectividad de MenTaL

La aplicación de MenTaL produce mejoras de rendimiento consistentes y estables:

• Aprendizaje en Contexto: Para modelos de alto rendimiento, MenTaL redujo el SDS a casi cero en las tareas de SoLT y mejoró la precisión hasta en un 40.74% (por ejemplo, en ProntoQA).
• Ajuste Fino Supervisado (SFT): Para el modelo más pequeño LLaMA-3-8B, el SFT estándar mejoró la precisión pero no logró reducir la deriva de símbolos en datos diversificados. En contraste, el SFT basado en MenTaL logró un SDS cercano a cero y una precisión significativamente mayor tanto en los conjuntos de datos originales como en los diversificados, demostrando una fuerte generalización a través de solvers y tareas.
• Atribución de Errores: El análisis manual confirmó que aproximadamente el 50% de los errores corregidos por MenTaL se debieron específicamente a la mejora en la consistencia de los símbolos, validando la eficacia dirigida del mecanismo.

4.3 Intensidad de la Diversificación

Los experimentos que varían la "intensidad de la diversificación" (el número de oraciones modificadas por problema) mostraron una disminución suave y continua en la precisión de los LLM a medida que la intensidad aumentaba. Esto indica un efecto acumulativo donde el procesamiento de más variantes semánticas erosiona progresivamente la capacidad del modelo para mantener un alineamiento de símbolos consistente.

5. Significado y Afirmaciones

El artículo afirma que pasar por alto la diversidad lingüística en los benchmarks actuales oculta una debilidad crítica en los traductores lógicos basados en LLM: la incapacidad de mantener un mapeo de símbolos consistente a través de diversas expresiones. Esta "deriva de símbolos" rompe la coherencia lógica en escenarios del mundo real donde los sinónimos y las paráfrasis son comunes.

La importancia de este trabajo radica en:

1. Diagnóstico: Proporcionar una herramienta sistemática (SoLT) para identificar y medir la inestabilidad de la traducción que los benchmarks estándar pasan por alto.
2. Solución: Ofrecer un método práctico y generalizable (MenTaL) para mejorar la robustez de los sistemas de razonamiento neuro-simbólicos sin requerir cambios arquitectónicos en los solvers.
3. Fiabilidad: Mover el campo hacia un razonamiento lógico más fiable en aplicaciones del mundo real al asegurar que la estabilidad de la traducción se mantenga a pesar de la variación lingüística.

Los autores concluyen que, si bien MenTaL mejora significativamente la estabilidad, el desafío del mapeo consistente de símbolos sigue siendo un área clave para la investigación futura, particularmente a medida que los LLM se despliegan en entornos lingüísticamente diversos y complejos.