💬 NLP

Many-Shot CoT-ICL: Making In-Context Learning Truly Learn

Este artículo revela que el aprendizaje en contexto con cadena de pensamiento de muchas muestras se comporta como aprendizaje en tiempo de prueba en contexto en lugar de una simple coincidencia de patrones, demostrando que las reglas de escalado estándar fallan en tareas de razonamiento y proponiendo la Selección de Demostraciones Curvilínea (CDS) para optimizar el ordenamiento de las demostraciones y lograr ganancias significativas en el rendimiento.

Autores originales: Tsz Ting Chung, Lemao Liu, Mo Yu, Dit-Yan Yeung

Publicado 2026-05-14

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Tsz Ting Chung, Lemao Liu, Mo Yu, Dit-Yan Yeung

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñar a un estudiante muy inteligente pero inexperto a resolver un rompecabezas complejo. Tienes un cuaderno masivo (la "ventana de contexto larga") donde puedes escribir cientos de ejemplos para ayudarlos.

Este artículo investiga qué sucede cuando llenas ese cuaderno con cientos de ejemplos que incluyen no solo la pregunta y la respuesta, sino también el proceso de pensamiento paso a paso (llamado "Cadena de Pensamiento") utilizado para resolverlo.

Aquí tienes el desglose simple de lo que los investigadores encontraron:

1. La vieja regla vs. la nueva realidad

La vieja regla (para tareas simples):
Si estás enseñando a un estudiante a clasificar el correo (una tarea simple), no importa mucho si les muestras 20 ejemplos o 200, o si se los muestras en un orden aleatorio. Cuantos más ejemplos les des, mejor lo harán, y el orden realmente no importa. Es como tirar un montón de pelotas rojas en un cubo; todas se ven iguales, por lo que el orden es irrelevante.

La nueva realidad (para tareas de razonamiento):
Cuando la tarea es difícil, como resolver una prueba de geometría o un misterio de detectives, las viejas reglas se rompen.

Más no siempre es mejor: Si simplemente viertes cientos de ejemplos de razonamiento en el cuaderno para un modelo de IA estándar, a menudo se confunde y rinde peor.
El orden importa mucho: A diferencia de clasificar el correo, el orden en que presentas estos pasos complejos de razonamiento es crítico. Si saltas de un concepto simple a uno súper difícil demasiado rápido, el estudiante se pierde.

2. Por qué fallan los ejemplos "similares"

Por lo general, cuando queremos ayudar a un estudiante, buscamos ejemplos que se vean similares al problema actual.

La trampa: El artículo encontró que, para tareas de razonamiento, elegir ejemplos que se vean similares (por ejemplo, dos problemas de matemáticas ambos sobre triángulos) es en realidad una mala idea.
La analogía: Imagina que estás enseñando a alguien a hornear un pastel. Les muestras una receta para un pastel de chocolate y luego les pides que horneen un bizcocho. Se ven similares (ambos son pasteles), pero el proceso (los pasos) es diferente. Si el estudiante intenta copiar los pasos del chocolate para el bizcocho, fallará.
El hallazgo: Para el razonamiento, los "pasos" (el procedimiento) importan más que el "tema" (la similitud superficial). Dos problemas pueden parecerse pero requerir caminos de pensamiento completamente diferentes. Si la IA intenta copiar el camino incorrecto, falla.

3. El enfoque de "currículo"

Los autores se dieron cuenta de que, para que una IA realmente "aprenda" de una larga lista de ejemplos, la lista necesita actuar como un currículo escolar, no solo como una pila de libros.

Principio 1: Comprensibilidad. Los ejemplos deben estar escritos de una manera que la IA específica pueda entender. Si la IA es "débil", mostrarle ejemplos escritos por una IA "genio" podría ser demasiado confuso. Aprende mejor de ejemplos que coincidan con su propio nivel actual de pensamiento.
Principio 2: Transiciones suaves. Los ejemplos deben ordenarse de modo que los conceptos fluyan suavemente de uno al siguiente. No puedes saltar de "suma" a "cálculo" sin los pasos intermedios.

4. La solución: "Selección de demostraciones curvilínea" (CDS)

Para solucionar el problema del orden, los investigadores inventaron un método llamado CDS.

La metáfora: Imagina que los ejemplos son puntos en un mapa. Si los conectas en un orden aleatorio, podrías tener que hacer giros bruscos y mareantes (alta "curvatura"). Si los organizas de modo que el camino sea suave y gentil (baja "curvatura"), el estudiante puede recorrer el camino fácilmente.
El resultado: Al organizar los cientos de ejemplos de modo que el "camino de pensamiento" sea suave y gradual, mejoraron el rendimiento de la IA en problemas de geometría en aproximadamente 5.4% en comparación con el ordenamiento aleatorio.

Resumen

El artículo argumenta que dar a una IA cientos de ejemplos de razonamiento no se trata solo de "más datos". Se trata de cómo se presenta ese dato.

No simplemente agarrar ejemplos que se vean similares.
Sí organizarlos como un plan de lecciones suave, moviéndose gentilmente desde conceptos fáciles hacia los más difíciles.
Sí asegurarse de que los ejemplos estén escritos en un idioma que la IA específica pueda realmente entender.

Al tratar la larga lista de ejemplos como una lección estructurada en lugar de un búfer de recuperación, la IA puede realmente "aprender" el proceso de razonamiento en tiempo real, en lugar de simplemente adivinar basándose en patrones.

Resumen Técnico: CoT-ICL de Muchos Disparos: Hacer que el Aprendizaje en Contexto Aprenda Verdaderamente

1. Declaración del Problema

Si bien se ha demostrado que el Aprendizaje en Contexto (ICL) adapta los Modelos de Lenguaje de Gran Tamaño (LLM) a nuevas tareas sin actualizaciones de parámetros, la comprensión actual de su comportamiento de escalado se deriva en gran medida de tareas no de razonamiento (por ejemplo, clasificación). Con la llegada de modelos de contexto largo, ha surgido el ICL de "muchos disparos" (utilizando de decenas a cientos de ejemplos), logrando un rendimiento comparable al ajuste fino. Sin embargo, sigue sin estar claro si los principios establecidos del ICL de muchos disparos —específicamente que el orden de las demostraciones disminuye en importancia y que la recuperación basada en similitud es efectiva— se transfieren al ICL de Cadena de Pensamiento (CoT) para tareas de razonamiento.

El artículo investiga si proporcionar más demostraciones de razonamiento conduce a una mejora fiable o introduce nuevas inestabilidades. Cuestiona si el CoT-ICL de muchos disparos es simplemente un emparejamiento de patrones a gran escala o una forma de aprendizaje en contexto genuino que sigue principios pedagógicos.

2. Metodología

Los autores establecen un marco experimental que abarca tres dimensiones:

Tipos de Tareas: Tareas no de razonamiento (clasificación, comprensión del lenguaje natural, detección de intenciones bancarias) frente a Tareas de razonamiento (razonamiento matemático en GSM8K/MATH, razonamiento narrativo en DetectiveQA).
Tipos de Modelos: LLMs no de razonamiento (por ejemplo, LLaMA 3.1/3.3, Qwen 2.5) frente a LLMs orientados al razonamiento (por ejemplo, Qwen 3, QwQ, DeepSeek-R1) que exponen segmentos de razonamiento explícitos (por ejemplo, tokens <thought>).
Configuraciones ICL: ICL tradicional frente a CoT-ICL (prompts que contienen entrada, cadena de razonamiento y salida).

El estudio evalúa los efectos de escalado variando el número de demostraciones ( $n$ ) desde pocos disparos hasta muchos disparos (hasta $n=128$ ). Los análisis experimentales clave incluyen:

Disparidad de Escalado: Comparar las tendencias de rendimiento a medida que $n$ aumenta en diferentes combinaciones de modelos y tareas.
Recuperación Basada en Similitud: Construir conjuntos de demostraciones "más similares" y "más disímiles" basados en la similitud de incrustación a nivel de pregunta para probar la hipótesis de recuperación.
Sensibilidad al Orden: Medir la desviación estándar de la precisión a través de permutaciones aleatorias del mismo conjunto de demostraciones.
Ablación Procedimental: Reemplazar razones específicas de CoT con cadenas estáticas para aislar si los modelos aprenden procedimientos o simplemente emparejan pares entrada-salida.
Principios de Selección de Demostraciones: Probar el impacto de la "Facilidad de Comprensión" (usando CoTs auto-generados frente a proporcionados por el conjunto de datos) y la "Suavidad del Flujo de Información" (ordenando demostraciones para minimizar la curvatura conceptual).

3. Hallazgos Clave

A. Escalado Dependiente del Entorno

Tareas No de Razonamiento: El ICL de muchos disparos escala de manera fiable; el rendimiento mejora constantemente a medida que aumenta el número de demostraciones, y la sensibilidad al orden de las demostraciones disminuye.
Tareas de Razonamiento (LLMs No de Razonamiento): El CoT-ICL de muchos disparos es inestable. Aumentar las demostraciones a menudo conduce a una degradación del rendimiento o ganancias negativas para modelos estándar ajustados a instrucciones, incluso a grandes escalas de parámetros (por ejemplo, LLaMA 3.3 70B).
Tareas de Razonamiento (LLMs Orientados al Razonamiento): Los modelos con capacidades explícitas de razonamiento (por ejemplo, Qwen 3, DeepSeek-R1) muestran mejoras de rendimiento consistentes y casi monótonas con más demostraciones de CoT. Esto sugiere que beneficiarse de contextos largos de CoT requiere mecanismos para interpretar señales de razonamiento (por ejemplo, tokens de pensamiento) en lugar de un emparejamiento de patrones superficial.

B. Fallo de la Recuperación Basada en Similitud

No de Razonamiento: La similitud semántica entre preguntas es un proxy fiable para la similitud de etiquetas; recuperar ejemplos similares mejora el rendimiento.
Razonamiento: La similitud semántica a nivel de pregunta falla al predecir la compatibilidad procedimental. Dos preguntas matemáticamente similares pueden requerir estrategias de solución diferentes. En consecuencia, recuperar las demostraciones de CoT "más similares" a menudo produce un rendimiento peor que usar conjuntos disímiles o no curados, ya que puede inducir pasos intermedios conflictivos.

C. Efecto de Escalado del Orden

Contrario a las tareas no de razonamiento donde la sensibilidad al orden se desvanece con la escala, las tareas de razonamiento exhiben un efecto de escalado del orden: la varianza del rendimiento aumenta a medida que crece el número de demostraciones de CoT. Esto indica que la secuencia de demostraciones moldea críticamente la trayectoria de razonamiento inducida.

D. Mecanismo: Aprendizaje en Contexto en Tiempo de Prueba

El artículo replantea el CoT-ICL de muchos disparos no como emparejamiento de patrones, sino como aprendizaje en contexto en tiempo de prueba. La evidencia muestra que los modelos de razonamiento absorben procedimientos específicos de las demostraciones en lugar de simplemente memorizar etiquetas. Cuando las razones se corrompen (reemplazadas por cadenas estáticas), el rendimiento cae significativamente en conteos altos de disparos, confirmando que los modelos internalizan los pasos procedimentales.

4. Principios y Método Propuestos (CDS)

Basándose en el hallazgo de que el CoT-ICL actúa como un proceso de aprendizaje, los autores proponen dos principios para un diseño efectivo de demostraciones:

Facilidad de Comprensión: Las demostraciones deben alinearse con el conocimiento actual del modelo y la distribución de generación. Los CoTs auto-generados (incluso con algunos errores) a menudo superan a los CoTs de verdad fundamental para modelos más débiles porque son más "comprensibles" para el modelo objetivo.
Suavidad de la Progresión del Conocimiento: Las demostraciones deben ordenarse para crear una transición conceptual suave, evitando saltos abruptos en las estrategias de razonamiento.

Para operacionalizar el segundo principio, los autores introducen la Selección Curvilínea de Demostraciones (CDS).

Método: CDS trata la secuencia de demostraciones como una trayectoria en el espacio de incrustación. Ordena las demostraciones para minimizar la curvatura conceptual total (la suma de los ángulos de giro entre vectores de incrustación consecutivos).
Implementación: Utiliza una heurística basada en TSP (vecino más cercano + 2-opt) con una función de costo que equilibra la proximidad euclidiana y la minimización de la curvatura.
Resultados: CDS produce ganancias consistentes, logrando hasta una mejora de 5.42 puntos porcentuales en tareas de geometría con 64 demostraciones. Supera al ordenamiento aleatorio y a las líneas base de alta curvatura en tareas de razonamiento matemático y narrativo.

5. Significado y Afirmaciones

El artículo afirma replantear la comprensión de las ventanas de contexto largo de un simple "búfer de recuperación" a un "currículo estructurado" para el aprendizaje en contexto en tiempo de prueba.

Contribución Teórica: Demuestra que las reglas que gobiernan el ICL de muchos disparos para la clasificación no se transfieren al razonamiento. Argumenta que el ICL de razonamiento efectivo depende de la capacidad del modelo para interpretar e internalizar señales procedimentales, no solo del emparejamiento de patrones superficiales.
Contribución Práctica: Proporciona un método simple, de bajo costo y libre de parámetros (CDS) para mejorar el rendimiento de razonamiento optimizando el orden de las demostraciones basándose en la suavidad conceptual.
Limitaciones: Los autores señalan que los beneficios de CDS son más pronunciados cuando el ordenamiento base es subóptimo (alta curvatura) y que las ganancias pueden ser menores en tareas donde la precisión base ya es muy alta (por ejemplo, teoría de números).

El trabajo sugiere que para los LLMs capaces de razonamiento, la ventana de contexto largo sirve como un entorno de aprendizaje dinámico donde la estructura del prompt (currículo) es tan crítica como el contenido de los ejemplos.