💬 NLP

Towards Consistent Detection of Cognitive Distortions: LLM-Based Annotation and Dataset-Agnostic Evaluation

Este artículo propone utilizar múltiples ejecuciones independientes de LLM para generar anotaciones consistentes en la tarea subjetiva de detección de distorsiones cognitivas e introduce un marco de evaluación agnóstico al conjunto de datos basado en el kappa de Cohen, demostrando que los datos generados por LLM producen un rendimiento de modelo superior en comparación con los datos etiquetados por humanos.

Autores originales: Neha Sharma, Navneet Agarwal, Kairit Sirts

Publicado 2026-05-21

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Neha Sharma, Navneet Agarwal, Kairit Sirts

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñar a una computadora a detectar "distorsiones cognitivas". Estas son como trampas mentales o formas de pensar distorsionadas (por ejemplo, "reprobé un examen, así que soy un fracaso total") que a menudo aparecen en la escritura de las personas cuando están luchando con problemas de salud mental.

El problema es que detectar estas trampas es increíblemente subjetivo. Incluso los expertos humanos a menudo discrepan sobre si una oración específica contiene una distorsión o no. Es como pedirle a cinco personas que juzguen si una nube se parece a un conejo; algunas dicen que sí, otras dicen que no, y no hay una respuesta "correcta". Esta discrepancia hace que los datos sean "ruidosos" e poco confiables para entrenar computadoras.

Este artículo propone dos soluciones inteligentes para arreglar este desorden.

1. La Estrategia de la "Multitud de Robots" (Mejores Anotaciones)

En lugar de pedirle a un humano o a una IA que haga una sola suposición, los investigadores pidieron a un Modelo de Lenguaje Grande (LLM)—específicamente GPT-4—que examinara el mismo texto cinco veces seguidas.

La Analogía: Imagina que estás intentando encontrar un objeto oculto en una habitación desordenada. Si miras una vez, podrías pasarlo por alto o ver algo más. Pero si miras la habitación cinco veces, y ves el objeto exactamente en el mismo lugar cada vez, puedes estar muy seguro de que realmente está allí.
El Método: Ejecutaron la IA cinco veces. Si la IA seguía dando la misma etiqueta (por ejemplo, "Esto es 'Pensamiento Todo o Nada'") en cuatro o cinco de los cinco intentos, aceptaron esa etiqueta como la "verdad". Si la IA estaba confundida y daba respuestas diferentes cada vez, marcaron ese texto como ambiguo.
El Resultado: Este enfoque de "consenso" creó un conjunto de datos mucho más limpio y consistente que los datos originales etiquetados por humanos. Cuando entrenaron un nuevo modelo informático con estos datos de "consenso de robots", funcionó significativamente mejor que los modelos entrenados con los datos humanos desordenados.

2. La Métrica de la "Carrera Justa" (Mejor Evaluación)

Por lo general, para ver qué modelo informático es mejor, los investigadores comparan sus puntuaciones (como una puntuación F1) en una prueba. Pero esto es injusto si las preguntas de la prueba son diferentes. Es como comparar el tiempo de un corredor en una pista plana con el tiempo de otro corredor en un sendero embarrado y cuesta arriba. No puedes simplemente mirar los números; las condiciones importan.

La Analogía: Imagina que dos estudiantes rinden exámenes de matemáticas diferentes. Un examen es fácil, el otro es difícil. Si el Estudiante A obtiene un 80% en el examen difícil y el Estudiante B obtiene un 90% en el examen fácil, ¿quién es realmente mejor? Necesitas saber cuánto mejor les fue en comparación con adivinar al azar.
El Método: Los autores introdujeron una nueva forma de medir el éxito llamada Evaluación Agnóstica al Conjunto de Datos. En lugar de solo mirar la puntuación bruta, calcularon cuánto mejor le fue al modelo en comparación con un "adivinador aleatorio" (alguien que simplemente elige respuestas al azar). Utilizaron una herramienta estadística llamada Kappa de Cohen para normalizar esto.
El Resultado: Esto les permitió comparar modelos de manera justa entrenados en diferentes conjuntos de datos. Incluso al tener en cuenta la dificultad de los datos, los modelos entrenados con las etiquetas de "consenso de robots" aún mostraron que estaban aprendiendo mucho más efectivamente que aquellos entrenados con etiquetas humanas.

La Verificación Humana (La Verificación de la Realidad)

Los investigadores luego pidieron a tres expertos humanos en psicología que revisaran los resultados. Les mostraron a los expertos pares de oraciones: una etiquetada por los humanos originales y otra etiquetada por el "consenso de robots".

El Resultado: Los expertos estaban confundidos. No podían ponerse de acuerdo sobre qué etiqueta era mejor. De hecho, los expertos discrepaban entre sí casi tanto como sugerían los datos originales.
La Conclusión: Esto no demostró que los robots tenían "razón" y los humanos "tortura". En cambio, destacó que los datos en sí mismos son complicados. Muchos de los fragmentos de texto no declaraban claramente el pensamiento distorsionado; simplemente describían un evento o una emoción. Sin un terapeuta haciendo preguntas de seguimiento, a menudo es imposible saber con certeza qué estaba pensando la persona. El "ruido" no estaba solo en la etiquetado; estaba en el material fuente en sí mismo.

Resumen

El artículo argumenta que para tareas subjetivas como la detección de patrones de salud mental:

La consistencia es clave: Pedirle a una IA que etiquete la misma cosa varias veces y confiar solo en las respuestas que repite crea un conjunto de datos más confiable que confiar en una sola suposición humana o de una sola IA.
La comparación justa importa: Necesitas una métrica especial (como la línea base de "adivinación aleatoria") para comparar modelos de manera justa cuando están entrenados en diferentes tipos de datos.
Los datos son el cuello de botella: Incluso con mejores métodos de etiquetado, si el texto original no expresa claramente el proceso de pensamiento, es difícil detectar la distorsión con precisión.

Los autores concluyen que, aunque los LLM pueden actuar como "anotadores" consistentes y confiables para limpiar datos ruidosos, el desafío final sigue siendo la calidad y claridad del texto que estamos tratando de analizar.

Resumen Técnico: Hacia la Detección Consistente de Distorsiones Cognitivas

Enunciado del Problema
La detección automatizada de Distorsiones Cognitivas (DC)—patrones de pensamiento sesgados asociados a condiciones de salud mental como la depresión y la ansiedad—enfrenta un desafío fundamental: la subjetividad. Los conjuntos de datos existentes a menudo adolecen de un bajo acuerdo inter-annotador (IAA) entre expertos humanos, lo que conduce a etiquetas "estándar de oro" ruidosas e inconfiables. Los modelos entrenados con tales datos inconsistentes luchan para generalizar, generando a menudo métricas de rendimiento bajas (por ejemplo, puntuaciones F1 ponderadas entre 0.2 y 0.4). Además, comparar modelos entrenados en conjuntos de datos con diferentes características (tamaños, distribuciones de etiquetas o calidades de anotación) utilizando métricas tradicionales como la puntuación F1 es problemático, ya que los valores de rendimiento absolutos no son directamente comparables entre puntos de referencia heterogéneos.

Metodología
Los autores proponen un enfoque de dos frentes: un marco de anotación basado en Modelos de Lenguaje de Gran Escala (LLM) para generar etiquetas consistentes y una métrica de evaluación agnóstica al conjunto de datos para comparar el rendimiento del modelo de manera justa.

Marco de Anotación Basado en LLM:
- Hipótesis: En lugar de depender de una única predicción de un LLM, los autores hipotetizan que múltiples ejecuciones independientes de un LLM sobre el mismo texto revelarán patrones de etiquetado estables. La recurrencia consistente de una etiqueta a través de las ejecuciones se trata como una señal de fiabilidad interna, sirviendo como un proxy para la verdad fundamental en ausencia de consenso humano.
- Procedimiento: El estudio utiliza el conjunto de datos públicamente disponible "Therapist Q&A" (2,530 pares de usuario-respuesta). Los autores emplean los modelos GPT-4 y GPT-4o a través de API con dos configuraciones de temperatura (0.5 y 0.7) para controlar la aleatoriedad.
- Prompting: Se utilizan dos tipos de prompts: un Prompt de Etiquetado Múltiple (MLP) que permite la asignación sin restricciones de DC, y un Prompt de Etiquetado Jerarquizado (RLP) que restringe al modelo a seleccionar la DC más dominante (más una secundaria opcional).
- Filtrado de Consistencia: Cada entrada se procesa mediante cinco ejecuciones independientes por configuración. Las etiquetas que aparecen en al menos 4 de las 5 ejecuciones se seleccionan como anotaciones finales. Los puntos de datos que no alcanzan este umbral se marcan como ambiguos y se excluyen para garantizar la robustez.
Evaluación Agnóstica al Conjunto de Datos:
- Desafío: Las métricas estándar (por ejemplo, puntuación F1) no pueden comparar de manera justa modelos entrenados en conjuntos de datos con diferentes distribuciones de etiquetas o tamaños.
- Solución: Los autores introducen una métrica de tamaño del efecto normalizado basada en la Kappa de Cohen ( $\kappa_{F1}$ ).
- Cálculo:
  - Se calcula teóricamente una Línea Base Aleatoria ( $F1_{random}$ ) basada en la distribución de clases del conjunto de datos, representando el rendimiento esperado de un modelo que simplemente refleja el desequilibrio de clases sin aprender.
  - El Rendimiento del Modelo ( $F1_{calculado}$ ) es la puntuación F1 ponderada del modelo entrenado.
  - La métrica se calcula como: $\kappa_{F1} = \frac{F1_{calculado} - F1_{random}}{1 - F1_{random}}$ .
- Esto normaliza el rendimiento relativo al azar, permitiendo comparaciones justas entre conjuntos de datos y entre estudios.

Contribuciones Clave

Anotación Confiable mediante Repetición: El artículo demuestra que múltiples ejecuciones independientes de un LLM pueden producir anotaciones internamente consistentes (Kappa de Fleiss = 0.78 para GPT-4 a temperatura 0.5), superando la consistencia de las anotaciones humanas en el conjunto de datos objetivo.
Mejora del Rendimiento Aguas Abajo: Los modelos entrenados con estas etiquetas generadas por LLM y filtradas por consistencia logran consistentemente un rendimiento superior (tanto en F1 crudo como en $\kappa_{F1}$ normalizado) en comparación con los modelos entrenados en los datos "dorados" etiquetados originalmente por humanos.
Marco de Evaluación: La introducción de la métrica $\kappa_{F1}$ proporciona un método principiado para evaluar y comparar modelos predictivos entre conjuntos de datos con características diferentes, abordando una brecha en la evaluación de PLN donde los puntos de referencia son inestables o no estandarizados.

Resultados

Consistencia de la Anotación: GPT-4 con una temperatura de 0.5 logró el acuerdo más alto entre ejecuciones (Kappa de Fleiss = 0.78), significativamente superior a GPT-4o o configuraciones de temperatura más altas. Más del 90% de los puntos de datos tuvieron al menos una etiqueta repetida en las cinco ejecuciones bajo condiciones óptimas.
Rendimiento en Tareas Aguas Abajo: En tareas de clasificación binaria, multiclase y multietiqueta utilizando MentalRoBERTa, los modelos entrenados con etiquetas generadas por LLM (tanto RLP como MLP) superaron consistentemente a los entrenados en el conjunto de datos original etiquetado por humanos. Por ejemplo, en la tarea multietiqueta con GPT-4-0.7, el modelo entrenado con LLM mostró una mejora del 33.1% sobre la línea base aleatoria, en comparación con solo el 16.1% para el modelo etiquetado por humanos.
Verificación Humana: Un estudio de verificación que involucró a tres expertos en psicología en un subconjunto de muestras en desacuerdo arrojó resultados inconcluyentes. Los expertos no mostraron una preferencia fuerte por las etiquetas de LLM sobre las etiquetas humanas, y el acuerdo inter-experto fue bajo (Kappa de Fleiss = 0.20). Esto sugiere la ambigüedad inherente de la tarea y del propio conjunto de datos, en lugar de un fallo del método LLM.

Significado y Afirmaciones
El artículo afirma que para tareas subjetivas de PLN donde la verdad fundamental es inalcanzable y el acuerdo humano es bajo, la fiabilidad (consistencia interna) es un prerequisito necesario para la validez. Al tratar la anotación como un proceso de consultas repetidas en lugar de una predicción de un solo disparo, los LLM pueden generar datos de entrenamiento internamente coherentes y de bajo ruido que mejoran la generalización del modelo aguas abajo.

Además, los autores argumentan que la métrica propuesta $\kappa_{F1}$ ofrece una solución escalable para la comunidad más amplia de PLN para comparar modelos entre conjuntos de datos heterogéneos sin depender de un único punto de referencia, potencialmente defectuoso. El estudio concluye que, aunque el conjunto de datos específico utilizado tiene limitaciones (por ejemplo, las entradas de los usuarios a menudo describen eventos en lugar de pensamientos distorsionados explícitos), la metodología de aprovechar la consistencia del LLM y la evaluación basada en el tamaño del efecto proporciona una base sólida para avanzar en la investigación en PLN de salud mental y otros dominios subjetivos.

1. La Estrategia de la "Multitud de Robots" (Mejores Anotaciones)

2. La Métrica de la "Carrera Justa" (Mejor Evaluación)

La Verificación Humana (La Verificación de la Realidad)

Resumen

Más como este