Resumen Técnico: Aprendizaje de Cadena de Pensamiento Semi-supervisado (Semi-CoT)

1. Definición del Problema

El artículo aborda una brecha en la aplicación actual de la Cadena de Pensamiento (Chain-of-Thought o CoT). Si bien la CoT ha demostrado ser eficaz para elidir las capacidades de razonamiento en los Modelos de Lenguaje Grande (LLMs) durante la inferencia, los métodos existentes suelen tratar las cadenas de razonamiento como prompts transitorios que se descartan tras generar una respuesta final. En consecuencia, la vasta cantidad de datos no etiquetados disponibles en dominios como las matemáticas y la lógica permanece subutilizada debido a que las anotaciones de CoT de alta calidad son costosas de producir manualmente.

Los autores definen un nuevo escenario de problema llamado Aprendizaje de Cadena de Pensamiento Semi-supervisado. El objetivo es aprovechar un pequeño conjunto de preguntas etiquetadas y un conjunto más grande de preguntas no etiquetadas para construir pseudo-supervisión de razonamiento. A diferencia del aprendizaje semi-supervisado estándar, que genera pseudo-etiquetas (solo respuestas finales), este escenario requiere generar un par de pseudo-supervisión completo que consista en una pseudo cadena de razonamiento ($\hat{r}_u$) y una pseudo respuesta ($\hat{y}_u$) para cada pregunta no etiquetada ($x_u$):
$$x_u \rightarrow (\hat{r}_u, \hat{y}_u)$$

El desafío central es garantizar la fiabilidad de estas cadenas generadas. Un modelo puede producir una respuesta correcta mediante una derivación inválida, o una respuesta incorrecta mediante una cadena de apariencia plausible. Por lo tanto, se requiere un mecanismo para filtrar las pseudo-CoTs no fiables antes de que se utilicen como supervisión o demostraciones.

2. Metodología: Marco de Trabajo Semi-CoT

Los autores proponen Semi-CoT, un marco mínimo que opera sin realizar el ajuste fino (fine-tuning) de los parámetros del modelo. Funciona como un método semi-supervisado a nivel de prompt diseñado para probar si las preguntas no etiquetadas pueden proporcionar señales de razonamiento fiables. El proceso consta de tres etapas principales:

A. Generación de Pseudo-CoT

Para cada pregunta no etiquetada, el LLM muestrea $K$ caminos de razonamiento distintos (outputs de CoT) utilizando un disparador estándar (por ejemplo, "Pensemos paso a paso"). Cada salida produce un rastro de razonamiento y una respuesta final.

B. Puerta de Fiabilidad de Entropía Semántica

Para filtrar las generaciones no fiables, el marco emplea la entropía semántica como señal de selección.

1. Normalización: Las respuestas extraídas se normalizan (por ejemplo, eliminando símbolos de formato para respuestas numéricas).
2. Agrupamiento (Clustering): Las respuestas se agrupan en clusters semánticos.
3. Cálculo de Entropía: La entropía semántica normalizada $H_{sem}(x_u)$ se calcula basándose en la distribución de estos clusters.
   • Una entropía baja indica un alto acuerdo entre los $K$ caminos muestreados.
   • Una entropía alta indica desacuerdo e incertidumbre.
4. Selección: Una pseudo-CoT se acepta solo si $H_{sem}(x_u) \leq \delta$, donde $\delta$ es un umbral predefinido. La pseudo-respuesta aceptada es la votación mayoritaria, y la pseudo cadena de razonamiento se selecciona de los caminos que conducen a esa respuesta mayoritaria.

C. Banco de Pseudo Razonamiento e Inferencia

Las pseudo-CoTs aceptadas se almacenan en un banco de pseudo razonamiento $\mathcal{B}$, cada una etiquetada con un peso de fiabilidad ($w_u = 1 - H_{sem}(x_u)$). Durante la inferencia en una pregunta de prueba:

• El sistema recupera $M$ demostraciones de $\mathcal{B}$.
• Se prueban dos estrategias de recuperación: Selección Aleatoria y Recuperación TF-IDF (basada en similitud léxica).
• Las demostraciones recuperadas se añaden a la pregunta de prueba como un prompt, y el LLM genera el razonamiento y la respuesta final.

3. Contribuciones Clave

El artículo realiza las siguientes contribuciones específicas:

• Formulación del Problema: Define el Aprendizaje de Cadena de Pensamiento Semi-supervisado, desplazando la visión de la CoT de una técnica puramente de tiempo de inferencia hacia una fuente de señales de aprendizaje semi-supervisado.
• Propuesta de Marco de Trabajo: Introduce Semi-CoT, un flujo de trabajo que genera múltiples pseudo-CoTs, las filtra mediante entropía semántica y utiliza los resultados de alta confianza como demostraciones de razonamiento.
• Evidencia Empírica: Proporciona evidencia piloto de que la selección basada en la entropía produce pseudo-CoTs de alta precisión en múltiples conjuntos de datos de razonamiento aritmético.
• Identificación de Limitaciones: Identifica que la fiabilidad de la pseudo-CoT (asegurada por la entropía) y la relevancia de la demostración (asegurada por la recuperación) son desafíos distintos. La alta precisión por sí sola no garantiza mejoras en el rendimiento si las demostraciones son irrelevantes para la pregunta de prueba.

4. Resultados Experimentales

Los autores realizaron experimentos piloto en cuatro benchmarks de razonamiento aritmético: AQuA, SVAMP, GSM8K y MultiArith.

Fiabilidad de la Pseudo-CoT

La puerta de entropía semántica seleccionó con éxito pseudo-CoTs de alta calidad. La precisión de la pseudo-respuesta (exactitud de las pseudo-respuestas seleccionadas frente a las etiquetas de oro ocultas) fue:

• MultiArith: 100%
• AQuA: 97.14%
• SVAMP: 96.30%
• GSM8K: 91.36%

Rendimiento de la Tarea

El impacto en la exactitud final de la tarea fue modesto y varió según el conjunto de datos:

• SVAMP: Mejora de +2% sobre Zero-shot CoT.
• GSM8K: Mejora de +1% sobre Zero-shot CoT.
• AQuA: Mostró una transferencia negativa leve (el rendimiento disminuyó en comparación con Zero-shot CoT), a pesar de la alta precisión de la pseudo-respuesta.
• MultiArith: Todos los métodos alcanzaron un 100% de exactitud, indicando un efecto de techo en el entorno piloto.

Estrategia de Recuperación

La comparación entre Selección Aleatoria y Recuperación TF-IDF para la selección de demostraciones no mostró diferencias significativas en los subconjuntos piloto. Esto sugiere que la similitud léxica simple es insuficiente para asegurar la relevancia de las pseudo-CoTs con la pregunta de prueba.

5. Significado y Reivindicaciones

El artículo se posiciona como un informe técnico que establece un nuevo escenario de problema en lugar de una solución definitiva. Su importancia radica en:

1. Cambio Conceptual: Replantea la CoT como una forma de auto-entrenamiento donde el razonamiento generado por el modelo puede servir como pseudo-supervisión, cerrando la brecha entre el prompting en tiempo de inferencia y el aprendizaje semi-supervisado.
2. Validación de Señales: Demuestra que la entropía semántica es una señal viable y agnóstica al modelo para filtrar cadenas de razonamiento fiables a partir de datos no etiquetados, logrando una alta precisión sin anotación humana.
3. Conclusión Conservadora: Los autores concluyen modestamente que, si bien las preguntas no etiquetadas pueden proporcionar señales de pseudo razonamiento fiables, la selección fiable no es suficiente para un aumento consistente del rendimiento. La implementación actual resalta que la relevancia de la demostración es un factor crítico y no resuelto. El trabajo futuro debe abordar mecanismos de recuperación más fuertes, el emparejamiento de patrones de razonamiento o el entrenamiento paramétrico del estudiante para alcanzar plenamente el potencial de Semi-CoT.

El artículo evita explícitamente afirmar que la implementación actual a nivel de prompt es una solución de estado del arte, señalando que las ganancias observadas son pequeñas y que la transferencia negativa sigue siendo un riesgo si no se gestiona la relevancia.