💬 NLP

Emergence of Context Characteristics Sensitivity in Large Language Models

Este artículo investiga cómo la sensibilidad de los modelos de lenguaje de gran tamaño a las características del contexto evoluciona a través de las etapas de ajuste fino supervisado, optimización de preferencia directa y aprendizaje por refuerzo, revelando que estas preferencias se remodelan activamente en cada fase y destacando la importancia crítica de los conjuntos de datos de ajuste fino de instrucciones equilibrados para una utilización robusta del contexto.

Autores originales: Nadya Yuki Wangsajaya, Haeun Yu, Isabelle Augenstein

Publicado 2026-06-09

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Nadya Yuki Wangsajaya, Haeun Yu, Isabelle Augenstein

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina a un Modelo de Lenguaje Grande (LLM) como un estudiante muy inteligente sentado en un aula. Este estudiante tiene una biblioteca masiva de hechos memorizados en su cabeza (conocimiento paramétrico), pero el profesor también le entrega una página de un libro de texto específico (el contexto) para cada pregunta. El objetivo es que el estudiante lea esa página y responda la pregunta basándose únicamente en lo que acaba de leer, ignorando lo que ya sabe.

Este artículo investiga cómo este estudiante aprende a usar el libro de texto durante tres "campamentos de entrenamiento" específicos (etapas de Ajuste Fino de Instrucciones): SFT, DPO y RLVR. Los investigadores querían saber: ¿El estudiante aprende a leer el libro con cuidado, o empieza a tomar atajos basados en cómo se ve el libro?

Aquí está el desglose de sus hallazgos utilizando analogías simples:

1. Los Tres Campamentos de Entrenamiento

Piensa en la educación del estudiante como algo que sucede en tres fases:

Fase 1: SFT (Ajuste Fino Supervisado): Esto es como si el estudiante hiciera la tarea con una clave de respuestas. Se le muestran muchos ejemplos de "Pregunta + Página del Libro de Texto = Respuesta Correcta".
** Fase 2: DPO (Optimización de Preferencias Directas):** Esto es como un club de debate. Se le muestran al estudiante dos respuestas diferentes a la misma pregunta. Un profesor dice: "Me gusta más la Respuesta A que la Respuesta B". El estudiante aprende a imitar la respuesta "preferida".
Fase 3: RLVR (Aprendizaje por Refuerzo con Recompensas Verificables): Esto es como un examen final donde el estudiante obtiene puntos solo si obtiene la respuesta exactamente correcta. (El artículo señala que esta fase es muy costosa de ejecutar, por lo que estudiaron principalmente las dos primeras).

2. Los "Atajos" Aprendidos en la Fase 1 (SFT)

Durante el primer campamento de entrenamiento (SFT), el estudiante aprende un hábito muy específico y algo perezoso. Comienza a juzgar si debe confiar en la página del libro de texto basándose en qué tan fácil es de leer, en lugar de si la información es realmente verdadera.

Los investigadores encontraron que el estudiante comienza a favorecer:

Texto más largo: Piensan: "Si el texto es largo, debe ser importante". (En realidad, a menudo prefieren textos más cortos porque son más fáciles de digerir, pero el artículo señala una relación compleja aquí; generalmente, prefieren textos que sean fáciles de procesar).
Palabras familiares: Si la página del libro de texto usa exactamente las mismas palabras que la pregunta, el estudiante piensa: "¡Ajá! ¡Esta es la página correcta!", incluso si el significado es erróneo.
Fluidez: Si el texto está escrito con una gramática suave y perfecta, el estudiante confía en él. Si el texto es tosco o tiene errores tipográficos, el estudiante lo ignora, incluso si el texto tosco contiene los hechos correctos.

La Metáfora: Imagina que el estudiante es un juez en un concurso. En lugar de juzgar el contenido del discurso, están juzgando el tamaño de la fuente y la suavidad de la voz. Si el discurso es fuerte y claro, votan "Sí". Si es silencioso o tartamudeante, votan "No", independientemente de la verdad.

3. La "Corrección" en la Fase 2 (DPO)

En el segundo campamento (DPO), los investigadores intentaron corregir estos malos hábitos. Esperaban que el estudiante desaprendiera los atajos y comenzara a leer el contenido con cuidado.

El Giro: El resultado dependía enteramente de qué estaba enseñando el profesor.

Si el profesor le daba al estudiante ejemplos donde las respuestas "buenas" resultaban ser largas y fluidas, y las respuestas "malas" eran cortas y toscas, el estudiante reforzaba sus malos hábitos. Aprendieron que "Largo y Fluido = Bueno".
Sin embargo, si el profesor equilibraba cuidadosamente los ejemplos —asegurándose de que las respuestas "buenas" y "malas" se vieran iguales (misma longitud, misma fluidez)—, el estudiante desaprendía los atajos. Dejaron de confiar en cómo se veía el texto y empezaron a confiar en el contenido real.

La Metáfora: Es como un entrenador enseñando a un atleta. Si el entrenador solo elogia a los atletas que usan zapatos rojos, el atleta pensará que los zapatos rojos lo hacen más rápido. Si el entrenador quiere que el atleta se concentre en la técnica de carrera, debe elogiar a los atletas que usan zapatos tanto rojos como azules por igual. Si el entrenador es descuidado, el atleta seguirá concentrándose en los zapatos en lugar de en la carrera.

4. La Gran Conclusión

El artículo concluye que la capacidad de un modelo para usar el contexto no es un rasgo fijo; es moldeada activamente en cada paso del entrenamiento.

SFT naturalmente enseña a los modelos a tomar atajos basados en qué tan "fácil" parece el texto (fluidez, superposición de palabras).
DPO puede empeorar esto o arreglarlo, dependiendo enteramente de cómo se cure el conjunto de datos de entrenamiento.

La Lección: Si quieres un modelo que utilice de manera confiable la información que le proporcionas (y que no se distraiga por lo "bonito" que se ve el texto), no puedes simplemente volcar datos en el proceso de entrenamiento. Debes curar cuidadosamente tus conjuntos de datos para asegurar que los ejemplos "buenos" y "malos" estén equilibrados en términos de longitud, fluidez y elección de palabras. De lo contrario, el modelo simplemente aprenderá a juzgar el libro por su portada.

Resumen Técnico: Emergencia de la Sensibilidad a las Características del Contexto en Modelos de Lenguaje de Gran Escala

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala (LLM) poseen la capacidad de utilizar el contexto proporcionado para responder consultas, un rasgo esencial para aplicaciones como la generación aumentada por recuperación (RAG) y el uso de herramientas. Sin embargo, este uso es a menudo frágil; los modelos pueden ignorar el contexto en favor del conocimiento paramétrico o distraerse con información irrelevante. Si bien investigaciones previas han establecido correlaciones entre características específicas del contexto (por ejemplo, longitud, fluidez, similitud) y el uso del contexto durante la inferencia, los mecanismos mediante los cuales los modelos adquieren estas sensibilidades durante el entrenamiento permanecen inexplorados. Específicamente, no está claro cómo las etapas de ajuste fino de instrucciones (IFT) moldean la dependencia del modelo hacia estas características.

Metodología

Los autores investigan la evolución de la "sensibilidad a las características del contexto" —definida como el grado en que el valor de una característica influye en si un modelo utiliza el contexto proporcionado— a través de tres etapas distintas de IFT: Ajuste Fino Supervisado (SFT), Optimización de Preferencias Directas (DPO) y Aprendizaje por Refuerzo con Recompensas Verificables (RLVR).

Configuración Experimental

Modelos: El estudio evalúa cuatro modelos: Llama-3.1-8B, Llama-3.2-1B, OLMo-2-1B y OLMo-2-7B. Para el análisis paso a paso (rastreo de cambios dentro de una etapa), Llama-3.2-1B es ajustado finamente utilizando los mismos conjuntos de datos usados para OLMo-2-1B.
Conjuntos de Datos: Se utilizan tres conjuntos de datos para asegurar la diversidad en los formatos de tarea y las relaciones entre contexto y conocimiento:
- ConflictQA y Context-Reliance: Tareas de QA de respuesta abierta con contextos contrafácticos, asegurando que la precisión refleje el uso puro del contexto.
- DRUID: Una tarea de verificación de afirmaciones que refleja interacciones realistas entre contexto y conocimiento.
Características del Contexto: Se extraen y miden tres familias de características:
1. Similitud: Similitud de Jaccard (solapamiento de tokens) y solapamiento de entidad-consulta.
2. Fluidez: Puntuación de facilidad de lectura de Flesch y Perplejidad.
3. Longitud: Recuentos de caracteres brutos para el contexto y la consulta.
Métrica de Evaluación: La sensibilidad se cuantifica utilizando el Área Bajo la Curva de Característica Operativa del Receptor (AUROC). Esto mide qué tan bien el valor de una característica específica clasifica los ejemplos precisos (donde el modelo utilizó correctamente el contexto) por encima de los inexactos. Un AUROC > 0.5 indica que valores más altos de la característica se correlacionan con un uso correcto del contexto.

Resultados Clave

1. Formación de la Sensibilidad durante SFT

El estudio encuentra que el SFT instila consistentemente un conjunto específico de sensibilidades en todos los modelos y conjuntos de datos. Durante el SFT, los modelos desarrollan una fuerte preferencia por contextos "fáciles de entender":

Similitud: El AUROC para la similitud de Jaccard entre contexto y consulta aumenta, indicando que los modelos dependen más fuertemente del solapamiento léxico.
Fluidez: El AUROC para la Perplejidad disminuye (lo que significa que una menor perplejidad se correlaciona con la precisión), mostrando que los modelos prefieren textos fluidos y de sonido natural.
Longitud: El AUROC para la longitud del contexto disminuye, sugiriendo que los modelos favorecen contextos más cortos, probablemente porque son más fáciles de integrar.

Crucialmente, los autores señalan que, si bien estas sensibilidades aumentan durante el SFT, no se traducen en una mejora de la precisión. Esto sugiere que los modelos están explotando estas características como atajos para señalar el uso del contexto, en lugar de evaluar genuinamente la relevancia o la veracidad del contenido.

2. DPO y Características del Conjunto de Datos

El impacto de DPO no es uniforme; depende fuertemente de las características del conjunto de datos de preferencia (la diferencia entre las respuestas "elegidas" y "rechazadas").

Resolución vs. Refuerzo: En algunos casos (por ejemplo, Llama-3.2-1B), DPO resuelve las sensibilidades aprendidas durante el SFT, desplazándolas de nuevo hacia los niveles previos al SFT.
Desequilibrio de Datos: En otros casos (por ejemplo, Llama-3.1-8B), DPO amplifica las sensibilidades existentes. Los autores atribuyen esto a las diferencias estadísticas ( $\Delta$ ) en las características léxicas de las respuestas elegidas frente a las rechazadas en los datos de entrenamiento. Si las respuestas elegidas en el conjunto de datos de preferencia difieren significativamente en longitud o fluidez de las rechazadas, DPO refuerza el sesgo del modelo hacia esas características específicas.
Dependencia de la Tarea: El efecto de DPO parece ser menos consistente en la tarea de verificación de afirmaciones de DRUID en comparación con las tareas de QA de respuesta abierta.

3. Tendencias de RLVR

Aunque el RLVR no fue analizado paso a paso debido a los costos computacionales, los resultados indican que el RLVR preserva en gran medida la dirección de los efectos establecidos por DPO, lo cual es consistente con sus objetivos compartidos de regularización KL.

Significancia y Contribuciones

La contribución principal del artículo es la demostración de que el uso del contexto no es una propiedad estática del modelo, sino que es reconfigurado activamente en cada etapa de IFT.

SFT como Aprendiz de Atajos: Los autores revelan que el SFT enseña a los modelos a explotar características superficiales (fluidez, longitud, solapamiento) como sustitutos de la relevancia, en lugar de fomentar una evaluación robusta del contexto.
Imperativo de la Curación de Datos: Los hallazgos subrayan que el diseño del conjunto de datos de preferencia en DPO es crítico. Para contrarrestar los sesgos formados durante el SFT y asegurar una utilización robusta del contexto, las respuestas elegidas y rechazadas en el conjunto de datos de preferencia deben ser cuidadosamente curadas para compartir características de contexto similares. Los desequilibrios en estos conjuntos de datos pueden reforzar inadvertidamente comportamientos no robustos.

Limitaciones

Los autores reconocen que el estudio está limitado a dos familias de modelos (Llama y OLMo) y a dos escalas cada una. Si bien esto es apropiado para analizar la dinámica de entrenamiento, una cobertura más amplia a través de diferentes arquitecturas sigue siendo un área abierta para trabajos futuros. Además, el estudio se centra en tres familias de características bien fundamentadas (similitud, fluidez, longitud), aunque pueden existir otros factores que influyan en el uso del contexto.