Probing Structural Mathematical Reasoning in Language Models with Algebraic Trapdoors

Resumen Técnico: Sondeo del Razonamiento Matemático Estructural en Modelos de Lenguaje con Trampas Algebraicas

Enunciado del Problema
Las pruebas de referencia estándar para el razonamiento matemático (por ejemplo, GSM8K, MATH, ProofNet) suelen exhibir una simetría donde la verificación no es más difícil que la solución. Esta simetría favorece la fluidez computacional, pero falla al evaluar el "razonamiento estructural": la capacidad de desplegar teoremas nombrados, reconocer patrones algebraicos e identificar priores estructurales aplicables. Además, la puntuación estándar confunde "comprometerse con una respuesta incorrecta" con "abstenerse honestamente", tratando ambas como fallos con puntuación cero.

Este artículo introduce una suite de pruebas diseñada para romper esta simetría aprovechando la asimetría verificador-proveedor de estilo criptográfico dentro del grupo $SL(3, \mathbb{Z})$. El desafío central es que la respuesta a cada problema es computable en forma cerrada $O(1)$ por el constructor (quien posee los datos de la "trampa" $(N, K)$), pero el solucionador, careciendo de estos datos, enfrenta ya sea la detección heurística de estructuras o una pregunta algorítmica de decidibilidad desconocida (específicamente, el problema de pertenencia en $SL(3, \mathbb{Z})$).

Metodología
La prueba de referencia consta de cuatro familias de problemas, todas construidas generando un subgrupo finitamente generado $H \subseteq SL(3, \mathbb{Z})$ a partir de un par secreto $(N, K)$ donde $K \subseteq SL(3, \mathbb{Z}/N)$. Los generadores se oscurecen utilizando barajado de Nielsen (reescribiendo generadores como productos profundamente anidados) y cizallamientos de Mennicke, resultando en entradas de matriz que alcanzan $10^{40}$.

1. Familia I (Pertenencia): Dadas los generadores y matrices candidatas, decidir la pertenencia. Existen certificados para "SÍ" (palabras explícitas) o "NO" (reducción módulo-$p$), pero el problema general de pertenencia en $SL(3, \mathbb{Z})$ es indecidible.
2. Familia II (Lista de primos SÍ/NO): Determinar si el subgrupo generado por $(A, B)$ sobreyecta a $SL(3, \mathbb{F}_p)$ para una lista de primos grandes. La respuesta depende de detectar una estructura ortogonal (Forma Normal de Smith) que es $O(1)$ para el constructor pero requiere detección estructural para el solucionador.
3. Familia III (Extensión de congruencia SÍ/NO): Determinar si $H$ es una extensión de congruencia $\pi^{-1}(K)$. Los "primos malos" son los factores de $N$ donde $K$ es propio.
4. Familia IV (Índice): Output el índice exacto $[SL(3, \mathbb{Z}) : H]$, o "infinito/desconocido". Esta familia incluye tres subfamilias:
   • v1: $H = SL(3, \mathbb{Z})$ (Índice 1), indistinguible de un subgrupo genérico de índice infinito mediante análisis módulo-$p$.
   • v2: $H = \pi^{-1}(K)$ (Índice finito). El cokernel es computable, pero la contención del núcleo requiere resolver el problema de pertenencia.
   • v3: $H = \langle g_1, g_2 \rangle \subset \Gamma(N)$ (Índice infinito por la Propiedad (T)). El razonamiento basado solo en el cokernel produce una respuesta finita incorrecta; el razonamiento correcto requiere reconocer la naturaleza infinita.

Configuración de Evaluación
Los autores evaluaron dos modelos de última generación: GPT Pro (pensamiento) y Gemini. Crucialmente, los prompts no afirman que el subgrupo sea de índice finito. Este diseño obliga al modelo a distinguir entre calcular un cokernel (fácil) y verificar la contención del núcleo (difícil/desconocido), creando una "prueba de calibración".

Los autores proponen una clasificación de puntuación de cuatro vías:

1. Compromiso-correcto: Respuesta específica correcta.
2. Compromiso-incorrecto: Respuesta específica incorrecta.
3. Abstención-correcta: Output "infinito/desconocido" cuando la verdad fundamental es infinita/desconocida (v3).
4. Abstención-incorrecta: Output "infinito/desconocido" cuando la verdad fundamental es un entero específico (v1, v2).

Resultados Clave
El artículo reporta cinco trazas de razonamiento detalladas:

• Razonamiento Estructural (Familias II y III): Ambos modelos resolvieron con éxito instancias que requerían detección estructural (por ejemplo, identificar el teorema de McLaughlin, el teorema de Burnside o presentaciones de Coxeter).
  • Gemini se basó en la correspondencia de teoremas nombrados, produciendo respuestas cortas y declarativas (por ejemplo, reconocer una presentación de Coxeter para $S_4$) en segundos.
  • GPT se basó en la derivación constructiva, derivando identidades de conmutadores y factorizando matrices desde primeros principios, tardando de minutos a horas.
• La Prueba de Calibración (Familia IV-v2, Instancia X10):
  • GPT pasó 152 minutos en una instancia donde la verdad fundamental era un entero de 25 dígitos. Calculó con éxito el cokernel pero reconoció explícitamente la pregunta de pertenencia del lado del núcleo como el cuello de botella. Tras intentar una verificación constructiva (que no logró certificar todos los cizallamientos necesarios), se abstuvo con "NO LO SÉ" en lugar de comprometerse con el límite superior calculado. Esto demuestra metacognición calibrada en el límite de la decidibilidad abierta.
  • Gemini no logró producir una traza de razonamiento, surgiendo un error interno después de minutos.
• La Línea Base $SL(2, \mathbb{Z})$ (Familia V):
  • Cuando se probó en la línea base decidible $SL(2, \mathbb{Z})$, GPT desplegó con éxito el conjunto completo de herramientas de rango 1 (fracciones continuas, plegado de Stallings, Reidemeister–Schreier, reducción de Nielsen) para distinguir índice finito vs. infinito.
  • Gemini falló tras un tiempo de cómputo extendido en la misma línea base, sin lograr producir una salida.

Significado y Afirmaciones
El artículo argumenta que esta prueba de referencia expone una clasificación de cuatro vías del comportamiento del modelo que la puntuación estándar basada en claves de respuesta oculta. Sus contribuciones principales son:

1. Evidencia de Abstención Calibrada: La traza de 152 minutos de GPT proporciona la evidencia más sólida existente de que los modelos de vanguardia poseen una "capa metacognitiva" activa capaz de reconocer cuándo una prueba está incompleta y negarse a comprometerse, incluso cuando está disponible un cálculo parcial (cokernel).
2. Asimetría Arquitectónica: Los resultados sugieren una diferencia fundamental en la arquitectura de razonamiento. Los autores proponen un modelo de tres capas para GPT (Teorema Nombrado $\to$ Primeros Principios $\to$ Abstención Calibrada) frente a un modelo de capa única para Gemini (Solo Teorema Nombrado), donde la ausencia de un mecanismo de respaldo conduce a bucles infinitos o fallos cuando el heurístico principal falla.
3. Valor Diagnóstico del Diseño del Prompt: El artículo demuestra que omitir la promesa de "índice finito" en el prompt es una elección de diseño crítica. Sin ella, la asimetría núcleo/cokernel obliga al modelo a confrontar el límite de la decidibilidad, haciendo que la "abstención" sea un comportamiento medible y significativo en lugar de un fallo.
4. Más Allá de la Fluidez Computacional: La prueba de referencia distingue entre modelos que pueden realizar aritmética de enteros grandes y aquellos que pueden desplegar priores estructurales (clases de Aschbacher, Propiedad (T), propiedad de subgrupo de congruencia) y reconocer límites algorítmicos.

Los autores concluyen que la prueba de referencia separa con éxito "conocer el teorema nombrado" de "tener maquinaria de respaldo elegante", revelando que, aunque los modelos actuales pueden realizar razonamiento estructural, su capacidad para generalizar estrategias algorítmicas (como la búsqueda en grafos de Nielsen) a rangos superiores sigue siendo un área distinta para la investigación.