In-Context Examples Suppress Scientific Knowledge Recall in LLMs

1. Planteamiento del Problema

El artículo investiga un fenómeno contra-intuitivo en los Modelos de Lenguaje Grandes (LLMs) aplicados al razonamiento científico: el Aprendizaje en Contexto (ICL) puede suprimir, en lugar de reforzar, el conocimiento científico pre-entrenado de un modelo.

Aunque el ICL se utiliza ampliamente para mejorar el rendimiento mediante la provisión de ejemplos, los autores hipotetizan que, para tareas que requieren recuperación de estructura latente (inferir parámetros ocultos a partir de datos antes de aplicar una ley del dominio), añadir ejemplos desplaza la estrategia de razonamiento del modelo. En lugar de recuperar y aplicar la fórmula científica correcta desde sus pesos pre-entrenados (Derivación Impulsada por Conocimiento), el modelo se desplaza hacia un Ajuste Impulsado por Ejemplos (aproximación de mapeos entrada-salida mediante reconocimiento de patrones).

Crucialmente, esta supresión ocurre incluso cuando los ejemplos en contexto son generados por la misma fórmula exacta que el modelo ya conoce, lo que significa que no existe conflicto entre los ejemplos y el conocimiento previo del modelo.

2. Metodología

Construcción del Punto de Referencia

Los autores construyeron un punto de referencia equilibrado en dificultad compuesto por 60 tareas de recuperación de estructura latente en cinco dominios científicos:

• Dominios: Biología, Química, Economía, Física y Geociencias (12 tareas por dominio).
• Estructura de la Tarea: Cada tarea sigue una arquitectura específica: $X \to \Theta \to Y$.
  • $X$ (Observables): Datos crudos proporcionados al modelo.
  • $\Theta$ (Variables Latentes): Parámetros ocultos (por ejemplo, constantes de reacción, módulos elásticos) que deben inferirse utilizando leyes del dominio.
  • $Y$ (Objetivo): La cantidad final a calcular utilizando los parámetros inferidos.
• Complejidad: Las tareas varían en el número de observables, variables latentes y formatos de ecuación (lineales, no lineales, fraccionarias, etc.) para asegurar que los hallazgos no sean artefactos de tipos específicos de ecuaciones.

Configuración Experimental

• Modelos: Los experimentos se realizaron en cuatro modelos: GPT-5.2 (principal), Claude Sonnet 4.6, Llama 4 Maverick y DeepSeek V3.2.
• Condiciones:
  • Zero-Shot: El modelo resuelve la tarea utilizando únicamente razonamiento de Cadena de Pensamiento (CoT) sin ejemplos.
  • 10-Shot: Se proporciona al modelo 10 pares de entrada-salida generados por la misma fórmula subyacente que el caso de prueba (no se proporcionan derivaciones intermedias).
• Clasificación de Estrategias: Un clasificador automatizado (validado por anotadores humanos con un 98% de acuerdo) categoriza la trayectoria CoT del modelo en tres modos:
  1. Paramétrica ($S_{know}$): Recupera una fórmula nombrada y deriva la respuesta algebraicamente.
  2. Empírica ($S_{emp}$): Ajusta un patrón a los ejemplos sin invocar leyes del dominio.
  3. Híbrida: Utiliza una fórmula pero calibra coeficientes basándose en ejemplos.

Análisis Adicionales

• Señuelo Semántico: Reemplazo de vocabulario específico del dominio (por ejemplo, "Excedente del Consumidor" $\to$ "Gamma Rad") para probar si la recuperación de conocimientos depende de pistas superficiales.
• Representaciones Internas: Análisis de los estados ocultos de modelos de código abierto (Qwen, Mistral, Llama) para observar cambios en el espacio de representación.
• Intervenciones: Se probaron técnicas de estructuración de prompts (por ejemplo, forzar la declaración de fórmulas, prompts negativos contra el ajuste) para ver si el desplazamiento puede mitigarse.

3. Contribuciones Clave

1. Descubrimiento del Desplazamiento de Conocimiento: Los autores demuestran que añadir ejemplos consistentes en contexto desplaza consistentemente el cálculo desde la derivación impulsada por conocimiento ($S_{know}$) hacia el ajuste impulsado por ejemplos ($S_{emp}$) en todos los dominios.
2. Marco de Competencia de Estrategias: Proponen un marco que explica por qué varían los efectos en la precisión. El desplazamiento es uniforme, pero la consecuencia depende de la brecha de calidad entre la estrategia desplazada (conocimiento pre-entrenado) y la estrategia de reemplazo (ajuste empírico).
3. Punto de Referencia Exhaustivo: Un nuevo punto de referencia de 60 tareas diseñado específicamente para hacer observable la competencia entre el razonamiento científico y el ajuste de patrones, cubriendo diversas complejidades estructurales.

4. Resultados Clave

A. Desplazamiento Uniforme de Estrategia, Precisión Divergente

Añadir 10 ejemplos redujo la proporción de trayectorias Paramétricas ($S_{know}$) en 6–20 puntos porcentuales en todos los dominios. Sin embargo, el impacto en la precisión final varió significativamente:

• Economía: La precisión disminuyó significativamente (−15.7pp). Aquí, $S_{know}$ era la estrategia superior (88.3% de precisión). El desplazamiento hacia el ajuste empírico (41.7% de precisión) causó una pérdida masiva de rendimiento.
• Geociencias: La precisión pareció mejorar (+13.3pp). Aquí, $S_{know}$ era débil (49.2% de precisión) porque el modelo a menudo recordaba la fórmula correcta pero utilizaba parámetros predeterminados incorrectos. El desplazamiento hacia el ajuste empírico permitió al modelo interpolar correctamente a partir de los ejemplos, enmascarando la pérdida de razonamiento científico.
• Física y Biología: La precisión se mantuvo relativamente plana. En Física, el desplazamiento fue pequeño; en Biología, la estrategia empírica resultó tener un rendimiento similar al paramétrico.

Conclusión: El modelo no abandona selectivamente el conocimiento donde es incorrecto; lo abandona en todas partes, independientemente de si la nueva estrategia es mejor o peor.

B. Mecanismo: Recuperación Desencadenada por Vocabulario

El experimento del Señuelo Semántico reveló que $S_{know}$ se desencadena por vocabulario superficial (palabras clave del dominio) en lugar de un análisis matemático profundo.

• Cuando los términos del dominio se reemplazaron por pseudónimos, la precisión Zero-Shot colapsó (al 3–14%).
• Sin embargo, el rendimiento 10-Shot se recuperó parcialmente (al 22–40%), demostrando que $S_{emp}$ opera sobre patrones numéricos independientes del vocabulario.
• Implicación: La mera presencia de ejemplos numéricos activa la vía empírica, anulando la vía de conocimiento desencadenada por vocabulario.

C. Convergencia de Representaciones Internas

El análisis de los estados ocultos mostró que, bajo condiciones de 10-shot, los espacios de representación de diferentes dominios convergieron.

• En Zero-Shot, los dominios ocupaban regiones distintas (activando circuitos específicos del dominio).
• En 10-Shot, los dominios se acercaron entre sí, particularmente Geociencias, que mostró el desplazamiento más fuerte. Esto sugiere que el modelo cambia a un circuito de ajuste de patrones agnóstico al dominio cuando están presentes los ejemplos.

D. Fallo de las Mitigaciones

Las intervenciones estándar de prompting (por ejemplo, nombrar explícitamente la fórmula, prompts negativos contra el ajuste) fallaron en prevenir universalmente el desplazamiento. Cuando el conocimiento pre-entrenado era la estrategia óptima (Economía), ninguna cantidad de ejemplos consistentes pudo recuperar el rendimiento perdido por la mera presencia de esos ejemplos.

5. Significado e Implicaciones

• Precaución para los Practicantes: El artículo advierte que, en aplicaciones científicas, proporcionar ejemplos en contexto puede desplazar el mismo conocimiento que pretenden apoyar. Confiar únicamente en la precisión de extremo a extremo es peligroso, ya que puede enmascarar la pérdida de razonamiento científico (por ejemplo, en Geociencias, el modelo obtuvo la respuesta correcta por la razón equivocada).
• Naturaleza del Razonamiento Científico en LLMs: El estudio sugiere que el razonamiento científico de los LLMs es a menudo basado en reconocimiento (desencadenado por palabras clave) en lugar de basado en razonamiento (derivación matemática). Esto lo hace frágil y fácilmente anulable por la vía abreviada computacional del emparejamiento de patrones.
• Aprendizaje de Vías Abreviadas Más Amplio: Este fenómeno se enmarca como un caso de "aprendizaje de vías abreviadas", donde los modelos recurren a la estrategia disponible computacionalmente más fácil (ajustar ejemplos) en lugar de la más principista (derivar de leyes), incluso cuando la vía abreviada es subóptima.
• Direcciones Futuras: Los autores piden estudios mecanísticos (por ejemplo, parcheo de activaciones) para identificar los circuitos específicos responsables de esta competencia y nuevas métricas de evaluación que puedan distinguir entre el éxito "impulsado por conocimiento" y el "impulsado por ejemplos".