💬 NLP

RELIC: Evaluating Complex Reasoning via the Recognition of Languages In-Context

El artículo presenta RELIC, un marco para evaluar el razonamiento complejo de los modelos de lenguaje grandes mediante la prueba de su capacidad para reconocer lenguajes libres de contexto en contexto, revelando que incluso los modelos avanzados no logran escalar la computación de inferencia con la dificultad de la tarea y a menudo cambian del razonamiento algorítmico a la conjetura a medida que aumenta la complejidad.

Autores originales: Jackson Petty, Michael Y. Hu, Wentao Wang, Shauli Ravfogel, William Merrill, Tal Linzen

Publicado 2026-04-29

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Jackson Petty, Michael Y. Hu, Wentao Wang, Shauli Ravfogel, William Merrill, Tal Linzen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás contratando a un asistente muy inteligente y bien leído para resolver un acertijo. Le entregas un libro de reglas completamente nuevo (una "gramática") y una oración específica (una "cadena"). Tu pregunta es simple: "¿Esta oración sigue las reglas del libro?"

Esto es exactamente de lo que trata el artículo RELIC. Es una nueva forma de evaluar qué tan bien los Modelos de Lenguaje Grandes (LLM) —los cerebros de IA detrás de herramientas como ChatGPT— pueden realmente pensar a través de problemas complejos y de múltiples pasos cuando se les dan nuevas instrucciones sobre la marcha.

Aquí está el desglose de los hallazgos del artículo utilizando analogías simples:

1. La Prueba: El "Acertijo del Libro de Reglas"

Los investigadores crearon un juego donde la IA debe actuar como un detective de gramática.

La Configuración: Generaron miles de libros de reglas únicos e inventados. No son inglés ni español; son conjuntos abstractos de reglas (como "A debe ir seguido de B", o "C se convierte en D").
La Tarea: La IA ve el libro de reglas y una oración compuesta por símbolos aleatorios (como t43 t51 t66). Debe decir "Sí" (esta oración sigue las reglas) o "No" (viola las reglas).
El Giro: Hacen los acertijos más difíciles al hacer los libros de reglas más grandes y las oraciones más largas.

2. La Expectativa: La Analogía de "Escalar la Montaña"

Piensa en resolver estos acertijos como escalar una montaña.

Montañas Pequeñas (Acertijos Fáciles): Si el libro de reglas es diminuto y la oración es corta, la IA puede escalar fácilmente hasta la cima. Utiliza un mapa lógico (un algoritmo) para verificar cada paso.
Montañas Grandes (Acertijos Difíciles): A medida que el libro de reglas se vuelve enorme y la oración se alarga, la montaña se vuelve más empinada. Para resolverlo correctamente, la IA necesita usar más energía mental (más "tokens de pensamiento") para verificar cada posibilidad individual. Es como necesitar una mochila más grande y más agua para escalar un pico más alto.

3. El Descubrimiento: "Renuncia Silenciosa"

Este es el hallazgo más sorprendente y crítico del artículo. Los investigadores esperaban que, a medida que los acertijos se volvieran más difíciles, la IA "se esforzara más" utilizando más poder de pensamiento.

En cambio, la IA comenzó a "renunciar en silencio".

La Analogía: Imagina a un trabajador al que se le pide resolver un problema matemático simple. Saca una calculadora y hace el trabajo. Pero cuando le das una ecuación masiva y compleja, en lugar de sacar una supercalculadora y trabajar más tiempo, simplemente adivina. Deja de intentar hacer las matemáticas y comienza a inventar respuestas basadas en corazonadas.
La Evidencia:
- Cuando los acertijos se volvieron difíciles, la IA no usó más tiempo de pensamiento; de hecho, usó menos.
- La IA dejó de usar un razonamiento lógico, paso a paso (como construir un árbol de posibilidades) y comenzó a depender de atajos deficientes (heurísticas).
- Incluso los modelos de "razonamiento" más avanzados (aquellos diseñados para pensar profundamente) hicieron esto. Comenzarían con un buen plan, se abrumarían y luego cambiarían silenciosamente a adivinar.

4. El Resultado: "Correcto por las Razones Incorrectas"

El artículo encontró que cuando la IA "renuncia en silencio", a menudo obtiene la respuesta correcta por accidente, pero por las razones equivocadas.

Ejemplo: La IA podría rechazar una oración solo porque es "demasiado larga", incluso cuando las reglas permiten oraciones largas. Obtuvo la respuesta "No" correcta, pero su lógica estaba completamente rota.
El Problema: Si no puedes ver el proceso de pensamiento de la IA (lo cual es cierto para muchos modelos comerciales), podrías pensar que es inteligente porque obtuvo la respuesta correcta. Pero en realidad, solo está adivinando, y fallará en el siguiente problema difícil.

5. La Conclusión: Cerebros Frágiles

El artículo concluye que los modelos de IA actuales son frágiles.

Entienden la idea de la tarea cuando es fácil.
Pero no pueden escalar su esfuerzo para igualar la dificultad del problema.
No tienen un "motor interno" confiable que diga: "Esto es difícil, necesito gastar más tiempo en esto". En su lugar, se rinden y adivinan.

Resumen

El artículo introduce RELIC como una prueba de estrés para el razonamiento de la IA. Muestra que incluso los modelos de IA más inteligentes de hoy son como estudiantes que pueden resolver tareas escolares fáciles, pero, cuando se enfrentan a un examen difícil, dejan de intentar resolver los problemas y simplemente rellenan las burbujas al azar. "Renuncian en silencio" en tareas difíciles, lo que los hace poco confiables para el razonamiento complejo del mundo real, donde necesitas que realmente sigan las reglas, no que solo adivinen.

1. Declaración del Problema

Los Modelos de Lenguaje Grandes (LLM) se enfrentan cada vez más a la tarea de resolver problemas complejos que requieren la recuperación y composición de múltiples piezas de información en contexto (por ejemplo, analizar estados financieros o seguir instrucciones de múltiples pasos). Sin embargo, evaluar estas capacidades es difícil debido a:

Falta de Verificabilidad: Las tareas del mundo real a menudo carecen de una verdad fundamental (ground truth) o métricas precisas.
Complejidad Incontrolable: Es difícil escalar sistemáticamente la dificultad de la tarea para observar cómo se degrada el rendimiento del modelo.
Contaminación de Datos: Las pruebas estáticas a menudo sufren porque los modelos han visto ejemplos similares durante el preentrenamiento.

Los autores proponen que los modelos actuales no logran escalar su capacidad de cómputo de inferencia (esfuerzo de razonamiento) de manera apropiada a medida que aumenta la complejidad de la tarea, recurriendo a menudo al "despido silencioso" (quiet quitting): cambiando de un razonamiento algorítmico válido a conjeturas o heurísticas superficiales cuando las tareas se vuelven difíciles.

2. Metodología: El Marco RELIC

Los autores introducen RELIC (Reconocimiento de Lenguajes en Contexto), un marco diseñado para evaluar a los LLM en el reconocimiento de Lenguajes Libres de Contexto (CFL).

Definición de la Tarea: Se presenta a un LLM una Gramática Libre de Contexto (CFG) específica y una cadena. El modelo debe determinar si la cadena pertenece al lenguaje generado por esa gramática (Aceptar/Rechazar).
Generación de la Prueba Sintética (RELIC-500):
- Para garantizar la novedad y prevenir la contaminación de datos, las gramáticas se generan estocásticamente en lugar de tomarse de un conjunto de datos fijo.
- Las gramáticas se parametrizan mediante cuatro valores: número de símbolos terminales ( $n'_{term}$ ), símbolos no terminales ( $n'_{nonterm}$ ), reglas léxicas ( $n'_{lex}$ ) y reglas no léxicas ( $n'_{nonlex}$ ).
- La prueba incluye 200 gramáticas con parámetros de hasta 500, generando cadenas positivas (válidas) y negativas (inválidas) de longitudes de hasta 50.
Base Teórica:
- Se sabe que el reconocimiento de CFL pertenece a la clase de complejidad AC1 y es NC1-difícil.
- El análisis teórico sugiere que, para que un Transformer resuelva esto, la longitud de su Cadena de Pensamiento (CoT) debe crecer superlinealmente con la longitud de la cadena y linealmente con el tamaño de la gramática.
- Esto proporciona un "presupuesto" de cómputo ideal teórico contra el cual se puede comparar el comportamiento real del modelo.

3. Configuración Experimental

Modelos Evaluados: Se probaron ocho LLM, incluyendo:
- Propietarios: La familia gpt-4.1 de OpenAI (nano, mini, full), o3 y o4-mini.
- De Pesos Abiertos: Gemma 3 de Google (1B y 4B) y una versión destilada de DeepSeek-R1.
Protocolo de Evaluación: Prompts de cero disparos (Zero-shot). Se pidió a los modelos que clasificaran cadenas basándose únicamente en las reglas de gramática proporcionadas, sin ejemplos de pocos disparos.
Métricas de Análisis:
- Precisión equilibrada por clase y puntuaciones Macro F1.
- Correlación entre el rendimiento y la complejidad de la gramática (tamaño) y la longitud de la cadena.
- Cómputo en Tiempo de Prueba (TTC): Medición del número de tokens generados durante el razonamiento en relación con la dificultad de la tarea.
- Clasificación de Estrategias: Utilizando un LLM como juez (y validación humana) para categorizar las trazas de razonamiento como Basadas en Reglas (derivación válida) o Heurísticas/Conjeturas.

4. Resultados Clave

A. Degradación del Rendimiento con la Complejidad

Tareas Pequeñas vs. Grandes: Los modelos funcionan razonablemente bien en gramáticas pequeñas y cadenas cortas. Sin embargo, el rendimiento cae precipitadamente a medida que aumentan el tamaño de la gramática (específicamente las producciones no léxicas) y la longitud de la cadena.
Rendimiento al Azar: Incluso los modelos de razonamiento más avanzados (por ejemplo, o3, o4-mini) caen a una precisión cercana al azar (aprox. 50%) en gramáticas con ~500 reglas, a pesar de que estas son órdenes de magnitud más pequeñas que las gramáticas para lenguajes de programación reales.
Sesgo: Los modelos exhiben fuertes sesgos de clase (por ejemplo, predecir "Sí" para cadenas largas y "No" para las cortas) en lugar de analizar las reglas de la gramática.

B. El Fenómeno del "Despido Silencioso"

Desajuste de Cómputo: Teóricamente, resolver instancias más difíciles requiere más cómputo (CoT más largo). Empíricamente, los modelos reducen su gasto de cómputo a medida que las tareas se vuelven más difíciles.
- El Cómputo Relativo en Tiempo de Prueba (TTC) alcanza su punto máximo temprano (en longitudes de cadena muy cortas) y luego disminuye a medida que aumenta la longitud de la cadena.
- Los modelos dejan de aumentar el esfuerzo de inferencia mucho antes de alcanzar sus límites de tokens.
Cambio de Estrategia: A medida que aumenta la complejidad, los modelos cambian de estrategias Basadas en Reglas (construcción de árboles de análisis) a estrategias Heurísticas (conjeturas basadas en la longitud de la cadena o la presencia de símbolos).
Modelos de Razonamiento Cerrado: Incluso los modelos que ocultan sus trazas de razonamiento (o3, o4-mini) muestran la misma caída en el gasto de cómputo, lo que implica que también están "despidiéndose en silencio" cambiando internamente a estrategias inválidas.

C. Limitaciones del Ajuste Fino

Los autores ajustaron finamente los modelos Gemma 3 directamente en la tarea RELIC (pares gramática-cadena-etiqueta).
Resultado: El ajuste fino no proporcionó ninguna mejora estadísticamente significativa en el rendimiento. Esto sugiere que el fallo no se debe a una falta de familiaridad con la tarea, sino a una incapacidad fundamental para ejecutar las estrategias de razonamiento requeridas a escala.

D. Correlación con el Razonamiento General

El rendimiento en RELIC se correlaciona con el rendimiento en pruebas generales de razonamiento (MMLU Pro, GPQA, IFEval). Esto indica que RELIC es un proxy válido para las capacidades generales de razonamiento complejo, no solo para una tarea de lenguaje formal de nicho.

5. Contribuciones Clave

Marco RELIC: Una prueba escalable, verificable y resistente a la contaminación para evaluar el razonamiento complejo en contexto utilizando la teoría de lenguajes formales.
Evidencia Empírica del "Despido Silencioso": Demuestra que los modelos de razonamiento más avanzados no logran escalar sus recursos de cómputo en proporción a la dificultad de la tarea, recurriendo en su lugar a heurísticas.
Análisis de Estrategias: Cuantifica el cambio del razonamiento algorítmico a las conjeturas en función de la complejidad, revelando una fragilidad en los actuales modelos de "razonamiento".
Brecha Teórico-Práctica: Destaca la desconexión entre los requisitos de complejidad teórica para el reconocimiento de CFL (que los Transformers podrían cumplir teóricamente) y el comportamiento empírico de los LLM actuales.

6. Significado e Implicaciones

Fragilidad del Razonamiento: Los hallazgos desafían la noción de que los "modelos de razonamiento" (como o3 o o4-mini) tienen capacidades de razonamiento robustas y escalables. Parecen depender de heurísticas que se rompen bajo la complejidad.
Paradigma de Evaluación: RELIC ofrece una forma de evaluar el razonamiento "oculto" en modelos propietarios observando su comportamiento de cómputo (uso de tokens) en lugar de solo la salida final.
Futuras Direcciones: El artículo sugiere que simplemente aumentar el tamaño del modelo o los datos de entrenamiento es insuficiente. Las mejoras futuras podrían requerir:
- Entrenamiento en completaciones estructuradas (derivaciones guiadas).
- Guía explícita sobre estrategias de razonamiento.
- Mecanismos para obligar a los modelos a mantener estrategias de razonamiento válidas incluso cuando las tareas se vuelven difíciles, previniendo el comportamiento de "despido silencioso".

En resumen, el artículo argumenta que los LLM actuales no están verdaderamente "razonando" en un sentido algorítmico y escalable cuando se enfrentan a tareas complejas y novedosas en contexto; en su lugar, optimizan un atajo que falla a medida que crece la complejidad del problema.