💬 NLP

Measuring Faithfulness Depends on How You Measure: Classifier Sensitivity in LLM Chain-of-Thought Evaluation

Este artículo demuestra que la fiabilidad de los razonamientos de cadena de pensamiento (CoT) en modelos de lenguaje no es una propiedad objetiva medible con un único número, ya que la elección del clasificador altera drásticamente las tasas de fiabilidad, las comparaciones entre modelos y sus rankings, lo que exige que las evaluaciones futuras reporten rangos de sensibilidad en lugar de estimaciones puntuales.

Autores originales: Richard J. Young

Publicado 2026-03-23

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Richard J. Young

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás en una competencia de cocina para ver quién hace el mejor pastel. Pero hay un problema: hay tres jueces diferentes, y cada uno tiene una regla distinta para decidir si el pastel es "auténtico".

El Juez 1 (El Regla Rígida): Solo mira si el chef escribió en su cuaderno la palabra "azúcar". Si la escribió, ¡es un pastel auténtico! Si no, es falso.
El Juez 2 (El Juez Inteligente): Mira si el chef escribió "azúcar", pero también lee todo el cuaderno para ver si realmente usó el azúcar o si solo lo mencionó por cortesía y luego usó miel. Si usó miel, dice que no es auténtico.
El Juez 3 (El Juez Estricto): No le importa lo que escribió el chef. Solo pregunta: "¿El azúcar fue la razón por la que el pastel salió bien?". Si el chef usó azúcar pero el pastel salió bien por suerte, este juez dice: "No, no fue auténtico".

Este es el problema que descubre el artículo:

Los investigadores probaron 12 modelos de Inteligencia Artificial (los "chefs") con 10,000 preguntas difíciles. Cuando los modelos cambiaron sus respuestas porque alguien les dio una pista (como un "chef" que sigue una sugerencia), los tres jueces dieron resultados totalmente diferentes:

El Juez Rígido (Regex): Dijo que los modelos fueron honestos el 74% de las veces.
El Juez Inteligente (Pipeline): Dijo que fueron honestos el 82% de las veces.
El Juez Estricto (Claude Sonnet): Dijo que solo fueron honestos el 69% de las veces.

¿Por qué importa esto?

Imagina que quieres saber quién es el mejor cocinero del mundo.

Si usas al Juez Inteligente, el modelo "Qwen" es el número 1 del mundo.
Si usas al Juez Estricto, ese mismo modelo "Qwen" cae al puesto número 7.
Otro modelo, "OLMo", pasa del puesto 9 al 3 dependiendo de quién esté juzgando.

La moraleja: No podemos decir que un modelo es "más honesto" que otro basándonos en un solo número. El número depende de quién lo mide y cómo lo mide.

La analogía de la "Mención" vs. la "Dependencia"

El artículo explica que la confusión viene de dos formas de ver la "honestidad":

Mención (Lo superficial): ¿El modelo dijo la palabra clave? (Ej: "El profesor dijo que la respuesta es B"). Si lo dijo, el juez rígido dice: "¡Bien! Fue honesto".
Dependencia (Lo profundo): ¿El modelo realmente confió en esa palabra para tomar su decisión? (Ej: El modelo dice "El profesor dijo B, pero yo lo calculé y también es B").
- El Juez Estricto piensa: "El modelo solo mencionó al profesor por cortesía, pero en realidad resolvió el problema solo. No fue honesto con la pista".
- El Juez Rígido piensa: "Mencionó al profesor. Punto. Fue honesto".

¿Qué nos enseña esto para el futuro?

El autor nos da cuatro consejos sencillos, como si fuera una receta para no equivocarse:

No confíes en un solo número: Si un artículo dice "Este modelo es 90% honesto", pregunta: "¿Quién lo midió?".
Di cómo lo mediste: Los investigadores deben explicar exactamente qué reglas usaron (¿solo buscaron palabras? ¿leer el contexto?).
Usa varios jueces: En lugar de dar un solo resultado, di un rango: "La honestidad está entre el 70% y el 80% dependiendo de cómo la midas".
Cuidado al comparar: No puedes comparar el resultado de un estudio que usa un juez estricto con otro que usa un juez relajado. Sería como comparar el peso de una persona en la Luna con su peso en la Tierra.

En resumen: La "honestidad" de una IA no es una propiedad fija como el color de sus ojos. Es más como la temperatura: depende de si la mides con un termómetro de mercurio, uno digital o si la sientes con la mano. Para entender realmente a las inteligencias artificiales, necesitamos saber qué "termómetro" estamos usando.

Resumen Técnico: Sensibilidad del Clasificador en la Evaluación de la Fidelidad del Pensamiento en Cadena (CoT)

1. El Problema

La literatura reciente sobre la fidelidad (faithfulness) del Pensamiento en Cadena (CoT) en Modelos de Lenguaje Grandes (LLM) tiende a reportar números agregados únicos (ej. "DeepSeek-R1 es 39% fiel") como si fueran propiedades objetivas e inmutables del modelo. El artículo argumenta que esta premisa es falsa. La fidelidad no es una métrica absoluta, sino que depende críticamente de la metodología de evaluación utilizada. Cuando diferentes clasificadores (reglas simples, pipelines híbridos o jueces LLM) se aplican a los mismos datos, producen estimaciones radicalmente diferentes, lo que convierte las comparaciones de modelos en comparaciones encubiertas de clasificadores.

2. Metodología

El estudio cuantifica esta sensibilidad aplicando tres clasificadores distintos a un conjunto de datos idéntico de 10,276 casos donde 12 modelos de razonamiento de código abierto (desde 7B hasta 1T de parámetros) cambiaron su respuesta debido a "pistas" (hints) inyectadas.

Datos: Casos extraídos de un estudio más amplio donde los modelos fueron inducidos a cambiar su respuesta basándose en 5 tipos de pistas: sycophancy (adulación), consistency (consistencia), metadata, grader (calificador) y unethical (antiético).
Los Tres Clasificadores:
1. Regex-only (Detector de Expresiones Regulares): Busca menciones léxicas explícitas de la pista en el CoT. Es rápido y gratuito, pero solo detecta menciones superficiales.
2. Pipeline (Regex + Jueces LLM): Combina el regex con un panel de tres LLMs (GLM-5, Kimi K2, Gemini 3 Flash) que votan por mayoría en los casos ambiguos. Busca detectar menciones que el regex se pierde.
3. Juez Independiente (Claude Sonnet 4): Un juez LLM externo que evalúa si la pista fue una razón causal (dependencia epistémica) para la respuesta, no solo si fue mencionada. Aplica un estándar más estricto de "carga de soporte" (load-bearing).
Métricas Estadísticas: Se utilizaron pruebas de McNemar para la significancia de las discrepancias, el coeficiente Kappa de Cohen para la concordancia inter-clasificador y la correlación de Spearman para la estabilidad de las clasificaciones de los modelos.

3. Contribuciones Clave

Demostración de la No Objetividad: Se prueba que la "fidelidad" es un constructo que varía según la definición operativa (mención léxica vs. dependencia causal).
Análisis de Sensibilidad: Se cuantifica cómo la elección del clasificador altera los resultados numéricos y las clasificaciones de los modelos.
Identificación de Asimetrías: Se revela que las discrepancias no son aleatorias, sino sistemáticas y dependientes del tipo de pista.
Recomendaciones Metodológicas: Se propone un cambio de paradigma en la evaluación, pasando de reportar un único número a reportar rangos de sensibilidad y metodologías transparentes.

4. Resultados Principales

Discrepancias Agregadas Significativas:
- Tasa de fidelidad global: Regex (74.4%) < **Pipeline (82.6%)** > Sonnet (69.7%).
- La brecha entre el Pipeline y Sonnet es de 12.9 puntos porcentuales en los mismos datos.
- Las diferencias por modelo oscilan entre 2.6 y 30.6 puntos porcentuales.
Discrepancias Específicas por Tipo de Pista:
- Sycophancy (Adulación): Muestra la mayor brecha (+43.4 pp). El Kappa es de 0.06 ("ligero"). El Pipeline clasifica 883 casos como fieles (mención detectada) mientras que Sonnet los clasifica como no fieles (la mención no fue causal).
- Grader (Calificador): Muestra la menor brecha (+2.9 pp) con un Kappa de 0.42 ("moderado"), indicando que los clasificadores coinciden más cuando la pista es clara y binaria.
Inversión de Clasificaciones (Rankings):
- La elección del clasificador invierte el orden de los modelos.
- Qwen3.5-27B: Ocupa el 1º lugar con el Pipeline (98.9%) pero cae al 7º con Sonnet (68.3%).
- OLMo-3.1-32B: Sube del 9º lugar (Pipeline) al 3º (Sonnet).
- La correlación de rangos entre los clasificadores es moderada pero imperfecta ( $\rho = 0.67$ ).
Estructura de Confusión Asimétrica:
- Para pistas de sycophancy, el Pipeline casi nunca falla en detectar lo que Sonnet detecta, pero Sonnet es mucho más estricto al rechazar menciones que no son causalmente relevantes. Esto confirma que el conflicto central es "Mención vs. Dependencia".

5. Significado e Implicaciones

Fidelidad como Familia de Constructos: La fidelidad no es una sola métrica medible, sino una familia de constructos relacionados. Un número de fidelidad reportado en un estudio no es comparable directamente con otro que use una metodología diferente.
Necesidad de Transparencia: Los estudios futuros deben reportar el rango de sensibilidad (ej. "69.7% - 82.6%") en lugar de un punto único, y divulgar los prompts completos de los jueces LLM.
Validación de Constructos: Las discrepancias observadas reflejan una ambigüedad inherente en el fenómeno de razonamiento (¿es la pista una razón o solo un ruido?), no un error de medición.
Recomendación Práctica: Se sugiere el uso de múltiples clasificadores (al menos dos con diferentes niveles de estrictud) para evaluar la robustez de los resultados. El costo de usar un juez LLM (Sonnet) es bajo (~$0.005 por caso) en comparación con los presupuestos de inferencia, haciendo viable la evaluación dual.

Conclusión: El artículo concluye que la comunidad de IA debe tratar la sensibilidad del clasificador como una preocupación de primer orden. Las conclusiones sobre qué modelo es "más fiel" dependen del instrumento de medición, y comparar números de fidelidad entre diferentes artículos sin ajustar por metodología es metodológicamente incorrecto.