🤖 AI

When Do Explanations Help In-Context Learning? A Comparative Study of Natural Language Explanation Types and Faithfulness

Este artículo presenta un estudio comparativo a través de seis referentes y cuatro modelos que demuestra que, si bien las explicaciones en lenguaje natural generalmente mejoran el rendimiento del aprendizaje en contexto, su efectividad varía significativamente según la fuente de la explicación (con los LLM externos compitiendo a menudo con las racionalizaciones humanas) y la estrategia de selección, revelando particularmente que el filtrado basado en la fidelidad produce resultados inconsistentes y que diferentes métricas de fidelidad pueden conducir a conclusiones divergentes.

Autores originales: Mahdi Dhaini, Adam Dejl, Juraj Vladika, Volkan Özer, Barbara Plank, Gjergji Kasneci

Publicado 2026-08-18

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Mahdi Dhaini, Adam Dejl, Juraj Vladika, Volkan Özer, Barbara Plank, Gjergji Kasneci

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, existe un deseo creciente de comprender no solo qué dice una computadora, sino por qué lo dice. Cuando un modelo de lenguaje de gran tamaño responde a una pregunta, a menudo produce una cadena de texto que parece el razonamiento humano ante un problema. Estas cadenas de texto se denominan explicaciones en lenguaje natural. Cumplen un doble propósito: ayudan a los humanos a confiar en la máquina al mostrar su lógica, y de hecho, pueden ayudar a la máquina a pensar mejor. Este segundo efecto se conoce como aprendizaje en contexto. Imagine pedirle a una computadora que resuelva un nuevo rompecabezas. Si le proporciona algunos ejemplos de rompecabezas similares junto con las respuestas correctas, a menudo puede resolver el nuevo sin necesidad de ser reentrenada. Esto es el aprendizaje en contexto. Ahora, imagine que añadiera algunas frases a esos ejemplos explicando cómo se llegó a la respuesta. ¿Hace esa explicación adicional que la computadora sea más inteligente, o solo añade ruido? Esta es la pregunta central que los investigadores están tratando de responder mientras construyen sistemas de IA más capaces y confiables.

Un equipo de investigadores de universidades de Múnich, Londres y de toda Alemania se propuso probar exactamente esto. Querían saber si añadir explicaciones a los ejemplos dados a una IA realmente mejora su rendimiento y, de ser así, de dónde deberían provenir esas explicaciones. Probaron cuatro modelos de IA diferentes de distintos tamaños en seis tipos diferentes de tareas de razonamiento, que iban desde preguntas de sentido común y detección de sarcasmo hasta la resolución de complejos problemas matemáticos de palabras. Los investigadores compararon tres fuentes principales para estas explicaciones: explicaciones escritas por humanos, explicaciones generadas por la propia IA mientras intentaba resolver el problema y explicaciones generadas por un modelo de IA separado y potente que actúa como ayudante. También probaron si la calidad de la explicación importaba, observando específicamente la "fidelidad", que es una medida de si la explicación coincide realmente con los pasos que el modelo siguió para llegar a su respuesta.

Los resultados ofrecieron un panorama claro de lo que funciona mejor en la práctica. Cuando la tarea consistía en clasificar información, como decidir si una frase era sarcástica o determinar la relación entre dos afirmaciones, añadir explicaciones a los ejemplos generalmente ayudaba a la IA a mejorar su rendimiento. Sin embargo, la fuente de la explicación importaba significativamente. Las explicaciones generadas por un modelo de IA separado y potente a menudo proporcionaban el mayor impulso en la precisión, funcionando tan bien como, y a veces mejor que, las explicaciones escritas por humanos. Este es un hallazgo significativo porque las explicaciones escritas por humanos son costosas y lentas de producir, mientras que las generadas por IA pueden crearse instantáneamente. En contraste, las explicaciones generadas por la propia IA mientras intentaba resolver el problema eran mucho más variables. A veces ayudaban, pero a menudo eran menos fiables que las de una fuente externa.

Los investigadores también investigaron si filtrar estas explicaciones autogeneradas para conservar solo las "fieles" —aquellas que realmente reflejaban el razonamiento del modelo— mejoraría los resultados. Descubrieron que esta estrategia producía solo pequeñas ganancias promedio y era altamente inconsistente. A veces, seleccionar las explicaciones más fieles ayudaba, pero otras veces hacía que el modelo funcionara peor. El resultado dependía en gran medida de qué prueba matemática específica se utilizara para medir la fidelidad, la tarea específica que realizaba el modelo y el tamaño del propio modelo. Esto sugiere que no existe una forma única y perfecta de juzgar la calidad de una explicación que funcione para cada situación. Además, el equipo probó la robustez del sistema intercambiando explicaciones entre diferentes ejemplos o utilizando explicaciones de temas completamente distintos. Aunque los modelos no se desmoronaron por completo al recibir estas explicaciones desajustadas, su rendimiento disminuyó, lo que indica que la explicación necesita estar alineada semánticamente con el ejemplo específico para ser verdaderamente útil.

En la tarea más compleja del razonamiento matemático, la dinámica cambió. Aquí, el beneficio de añadir explicaciones era menos consistente y dependía en gran medida del modelo específico y de la fuente de la explicación. Para los modelos más grandes, el método estándar de pedir al modelo que piense paso a paso por su cuenta seguía siendo muy sólido. Sin embargo, para los modelos más pequeños, las explicaciones externas de alta calidad podían proporcionar un aumento sustancial en el rendimiento, actuando como una forma de guía que el modelo más pequeño no podía generar por sí mismo. El estudio concluye que, si bien añadir explicaciones a los prompts es una herramienta poderosa, no es una solución mágica. El mejor enfoque depende de la tarea y de los recursos disponibles. Para muchas aplicaciones prácticas, utilizar explicaciones generadas por una IA separada y capaz ofrece una forma fiable y rentable de mejorar el rendimiento, mientras que confiar en que el modelo explique su propio razonamiento requiere una selección cuidadosa y ofrece resultados menos previsibles.

Resumen Técnico: ¿Cuándo ayudan las explicaciones al Aprendizaje en Contexto?

Declaración del Problema

Las explicaciones en lenguaje natural (NLE, por sus siglas en inglés), o racionales de texto libre, se utilizan cada vez más como entradas para influir en el comportamiento de los Grandes Modelos de Lenguaje (LLM) en el Aprendizaje en Contexto (ICL). Si bien las NLE se usan ampliamente para mejorar la interpretabilidad y el rendimiento del modelo, sigue sin estar claro cómo comparan en utilidad predictiva las diferentes fuentes de NLE (anotadas por humanos, autogeneradas o generadas externamente por otro LLM). Además, el papel de la calidad de la explicación —específicamente la fidelidad (si una explicación refleja con precisión el proceso de decisión del modelo)— y la robustez del ICL ante el desalineamiento semántico (racionales irrelevantes o fuera de distribución) están poco explorados. Esta falta de evidencia sistemática impide que los profesionales tomen decisiones informadas respecto al compromiso entre precisión y costo en los procesos de prompting aumentados con explicaciones.

Metodología

Los autores presentan un estudio comparativo exhaustivo que evalúa la utilidad predictiva de las NLE a través de seis diversos bancos de pruebas de razonamiento (ECQA, e-SNLI, SNARKS, Expresiones Booleanas, Juicio Causal y GSM8K) y cuatro modelos ajustados por instrucciones de diversos tamaños (GPT-4o-mini, Llama-3.1-8B, Llama-3.3-70B y Mistral-7B).

El marco experimental involucra cuatro pasos primarios:

Selección de Muestras de Pocos Disparos (Few-shot): El estudio adopta una estrategia de selección basada en errores, eligiendo $n=6$ muestras que fueron clasificadas erróneamente por el modelo objetivo en un entorno de cero disparos (zero-shot). Estas muestras sirven como señales correctivas.
Generación de NLE: Se generan tres fuentes de explicaciones para las muestras seleccionadas:
- NLEs Humanas: Racionales de conjuntos de datos explicables existentes (donde estén disponibles).
- NLEs Propias (Self-NLEs): Generadas por el propio modelo objetivo utilizando un método de Cadena de Pensamiento Post-hoc (Ph-CoT). Crucialmente, para las muestras mal clasificadas, las autoexplicaciones se regeneran condicionadas a la etiqueta de oro (gold label) para asegurar una comparación justa con otras fuentes.
- NLEs de LLM: Generadas por modelos explicadores externos (GPT-4o-mini o o3-mini) instados a proporcionar los racionales para los pares de entrada-salida correctos.
Estrategias de Selección de NLE: El estudio prueba cómo la selección de ejemplos basada en la calidad de la explicación afecta el rendimiento:
- Selección Aleatoria: Selección base sin evaluación de calidad.
- Selección de Mayor Fidelidad (Most-Faithful): Selección de las auto-NLE con las puntuaciones más altas basadas en dos métricas de fidelidad automatizadas ( $f_{m1}$ del marco LExT y $f_{m2}$ basada en la autoconsistencia).
- Selección de Menor Fidelidad (Lowest-Faithful): Selección de las auto-NLE con las puntuaciones más bajas para probar la relación inversa.
- Pruebas de Estrés de Desalineamiento: Dos configuraciones de ablación donde los racionales son intercambiados aleatoriamente dentro del mismo conjunto de datos (desajuste intra-dominio) o reemplazados con racionales de un conjunto de datos completamente diferente (Fuera de Distribución/OOD) para probar la robustez.
Evaluación: El rendimiento se mide mediante la precisión en la tarea descendente, comparando los prompts aumentados con explicaciones contra las líneas base (Zero-Shot, Few-Shot estándar sin racionales, y Zero-Shot Chain-of-Thought).

Contribuciones Clave

Estudio Comparativo Exhaustivo: La primera evaluación a gran escala que compara NLE humanas, autogeneradas y generadas externamente por LLM como racionales en contexto a través de múltiples modelos y tareas de razonamiento.
Marco de Evaluación Modular: Un marco reproducible que integra la selección de muestras basada en errores, la puntuación de calidad de la explicación (fidelidad) y la construcción de prompts para aislar el impacto de la fuente de la NLE y la estrategia de selección.
Análisis de Métricas de Fidelidad: Una investigación detallada sobre cómo las dos métricas de fidelidad ( $f_{m1}$ y $f_{m2}$ ) concuerdan o discrepan, y cómo estas discrepancias influyen en la selección de ejemplos y el rendimiento subsecuente del modelo.
Pruebas de Estrés de Robustez: Introducción de intercambios de racionales aleatorios y OOD para cuantificar la sensibilidad del ICL al desalineamiento semántico.

Resultados y Análisis

1. Fuente de NLE y Utilidad Predictiva (RQ1)

Tareas de Clasificación: En los bancos de pruebas de estilo clasificación (ECQA, e-SNLI, SNARKS, Boolean, Juicio Causal), añadir NLE a los prompts de pocos disparos generalmente mejora la precisión sobre el prompting de pocos disparos estándar.
Comparación de Fuentes: Las NLE generadas externamente por LLM (desde GPT-4o-mini o o3-mini) proporcionan consistentemente la utilidad descendente más fuerte y estable, a menudo igualando o superando a los racionales anotados por humanos cuando están disponibles. Las auto-NLE muestran más variabilidad y generalmente se quedan atrás de las fuentes externas, aunque pueden ser competitivas en entornos específicos.
Razonamiento Matemático (GSM8K): Los beneficios de las NLE dependen más del modelo y de la fuente. Mientras que la Cadena de Pensamiento (CoT) sigue siendo una línea base sólida para matemáticas, las NLE generadas por LLM generalmente superan a las auto-NLE, aunque la brecha varía significamente según el tamaño del modelo.

2. Fidelidad y Selección (RQ2)

Discrepancia de Métricas: Las dos métricas de fidelidad ( $f_{m1}$ y $f_{m2}$ ) discrepan sustancialmente (tasa de discrepancia promedio $\sim$ 50%), lo que indica que capturan aspectos operativos diferentes de la fidelidad. Esta discrepancia afecta directamente qué auto-NLE se seleccionan y su utilidad resultante.
Utilidad de la Selección Basada en la Fidelidad: Seleccionar auto-NLE basadas en la fidelidad medida produce ganancias promedio pequeñas en general, pero es altamente sensible a la métrica, la tarea y el modelo.
- En GSM8K, la selección basada en $f_{m1}$ mejoró significativamente el rendimiento para Llama-70B pero lo degradó para Mistral-7B.
- La selección basada en $f_{m2}$ mostró resultados mixtos, a veces mejorando y otras veces reduciendo el rendimiento en comparación con la selección aleatoria.
Conclusión: La selección basada en la fidelidad no es un filtro universalmente fiable; su efectividad depende fuertemente de la métrica elegida y la combinación específica de modelo-tarea.

3. Robustez al Desalineamiento (RQ3)

Robustez Parcial: Los modelos exhiben una robustez parcial ante racionales desalineados. Aunque los intercambios aleatorios de racionales intra-dominio y los racionales OOD generalmente reducen el rendimiento en comparación con la selección fiel, los modelos no colapsan por completo.
Importancia del Alineamiento Semántico: La degradación del rendimiento observada con racionales OOD (por ejemplo, emparejar un problema matemático con una explicación de sarcasmo) confirma que el alineamiento semántico entre el racional y el ejemplo es un factor crítico para las ganancias de rendimiento. Los intercambios aleatorios intra-dominio muestran efectos mixtos, sugiriendo que incluso los racionales desalineados intra-dominio pueden proporcionar algunas pistas relevantes para la tarea.

Significado e Implicaciones Prácticas

El artículo concluye que la fuente de la NLE, la estrategia de selección y las métricas de fidelidad son elecciones de diseño críticas en el ICL aumentado con explicaciones.

Guía Práctica: Para los profesionales, las NLE generadas externamente por LLM ofrecen una alternativa práctica y de alta utilidad frente a la costosa anotación humana, particularmente para tareas de clasificación. Proporcionan un rendimiento estable sin requerir una etapa compleja de puntuación de fidelidad.
Auto-Explicaciones: Aunque las auto-explicaciones son rentables, su utilidad es menos fiable y altamente sensible a las estrategias de selección. El filtrado de las auto-NLE basado en la fidelidad debe abordarse con cautela, ya que la elección de la métrica puede conducir a resultados divergentes.
Alineamiento: El estudio enfatiza que el alineamiento semántico es crucial; usar racionales no alineados (incluso si son del mismo conjunto de datos) puede anular los beneficios del prompting aumentado con explicaciones.
Tamaño del Modelo: Los modelos más pequeños (SLM) muestran ganancias de rendimiento más pronunciadas a partir de explicaciones externas de alta calidad en comparación con los modelos más grandes (LLM), que parecen interiorizar más patrones de razonamiento y dependen menos del andamiaje externo.

En general, el trabajo proporciona evidencia empírica para guiar la selección y el reporte de explicaciones en los procesos de prompting, destacando que, si bien las explicaciones pueden moldear el comportamiento del modelo, su utilidad depende de la fuente, la calidad y el alineamiento del racional.