Automated Coding of Communication Data Using ChatGPT: Consistency Across Subgroups

El estudio demuestra que el uso de ChatGPT para codificar datos de comunicación en evaluaciones a gran escala presenta una consistencia equitativa entre diferentes subgrupos demográficos, como género y raza, al igual que los evaluadores humanos.

Lo esencial

Imagina que tienes un equipo de cuatro personas trabajando juntas en un proyecto, hablando por chat. Para saber qué tan bien colaboran, los expertos necesitan leer cada mensaje y etiquetarlo: "¡Ah, este mensaje es compartir información!", "¡Este otro es negociar!", "¡Este es solo saludar!".

Antiguamente, esto lo hacían humanos. Imagina a un ejército de lectores muy cansados, leyendo miles de mensajes, uno por uno. Es lento, caro y agotador.

Luego llegó ChatGPT (la Inteligencia Artificial). La idea era: "¡Perfecto! Le damos las reglas a la IA y que ella haga el trabajo de etiquetar por nosotros". Y funcionó bastante bien. Pero surgió una gran duda, como un fantasma en la máquina: ¿Y si la IA tiene prejuicios?

¿Qué pasa si la IA etiqueta mejor los mensajes de las mujeres que los de los hombres? ¿O si entiende mejor a las personas blancas que a las personas negras? Si la IA es "injusta" al leer, los resultados de la evaluación serían injustos.

Esta investigación es como una "prueba de estrés" para ver si la IA es un juez imparcial.

Aquí te explico lo que hicieron, usando analogías sencillas:

1. La Prueba de los Tres Espejos

Los investigadores no solo miraron si la IA acertaba o fallaba. Usaron tres "espejos" (métodos de comprobación) para ver si la IA se comportaba igual con todos los grupos de personas:

• Espejo 1: ¿Coinciden los votos?
  Imagina que tienes un humano experto y a la IA leyendo el mismo mensaje. ¿Ponen la misma etiqueta? Los investigadores miraron si esta coincidencia era igual de alta para hombres y mujeres, o para personas de diferentes razas.

  • Resultado: ¡Sí! La IA coincidió con los humanos de la misma manera, sin importar de quién fuera el mensaje.

• Espejo 2: ¿Es la IA consistente?
  A veces, un humano puede estar de buen humor y otro de mal humor, y eso cambia cómo etiquetan. Los investigadores midieron si la "fiabilidad" de la IA cambiaba según el grupo.

  • Resultado: La IA fue igual de fiable para todos. No hubo grupos a los que la IA les "leyera la mente" mejor que a otros.

• Espejo 3: ¿La IA es un buen sustituto?
  Si la IA y un humano leen un mensaje y luego otro humano lee el mismo mensaje, ¿se parecen sus opiniones? Los investigadores compararon si la IA se comportaba como un "segundo humano" de manera justa para todos.

  • Resultado: Sí. El patrón de acuerdo entre la IA y los humanos fue el mismo para todos los grupos.

2. El Caso Especial de la "Negociación"

Hubo un momento interesante. En una tarea específica llamada "Negociación" (donde la gente debe llegar a un acuerdo), la IA pareció tener más dificultad con los mensajes de participantes negros que con los de participantes blancos.

Pero aquí viene la parte importante: No era porque la IA fuera racista o mala con los mensajes negros. Era porque la IA y los humanos coincidían demasiado con los mensajes de los participantes blancos (casi perfecto). Al ser el estándar de los blancos tan alto, cualquier pequeña diferencia con el grupo negro se veía grande en comparación.

Es como si en una carrera, el corredor A (grupo blanco) corrió a 100 km/h y el corredor B (grupo negro) corrió a 95 km/h. La diferencia es de 5 km/h. Pero si el corredor A hubiera corrido a 50 km/h y el B a 45 km/h, la diferencia sigue siendo 5 km/h, pero se siente menos dramática. En este caso, la "diferencia" fue solo porque el grupo de referencia (blancos) tuvo un rendimiento excepcionalmente alto en esa tarea, no porque la IA fallara con el otro grupo.

3. La Conclusión: ¿Podemos confiar en la IA?

El estudio concluye que sí, podemos tener confianza, pero con precaución.

• La buena noticia: La IA puede leer y etiquetar chats de colaboración de manera justa, sin discriminar por género o raza. Esto significa que podríamos usarla en el futuro para evaluar habilidades importantes (como el trabajo en equipo) en escuelas o empresas a gran escala, ahorrando mucho tiempo y dinero.
• La precaución: La IA no es perfecta ni es un reemplazo total todavía. Es como un copiloto excelente, pero el piloto humano (el experto) debe seguir revisando el mapa. Además, la tecnología avanza rápido; lo que funciona hoy con una versión de ChatGPT podría cambiar mañana.

En resumen:
Esta investigación nos dice que la Inteligencia Artificial, cuando se le enseña bien, puede ser un "juez imparcial" para leer conversaciones de equipos. No parece tener "gafas de colores" que la hagan ver mejor a un grupo que a otro. Es un paso gigante para usar la tecnología de forma justa en el mundo real, siempre y cuando la usemos con responsabilidad y supervisión humana.

Resumen técnico

Resumen Técnico: Codificación Automatizada de Datos de Comunicación con ChatGPT

1. Planteamiento del Problema

La evaluación de habilidades de comunicación y colaboración a gran escala requiere codificar datos de interacción (como chats) en categorías específicas según marcos teóricos predefinidos. Tradicionalmente, este proceso lo realizan ratificadores humanos, lo cual es intensivo en mano de obra, costoso y difícil de escalar. Aunque los sistemas de aprendizaje automático tradicionales han mejorado la eficiencia, aún dependen de grandes volúmenes de datos etiquetados por humanos para su entrenamiento.

La aparición de Modelos de Lenguaje Grande (LLM) como ChatGPT ofrece una alternativa prometedora: instruir directamente al modelo con un marco de codificación para procesar datos sin necesidad de entrenamiento previo extensivo. Sin embargo, existe una brecha crítica en la literatura: no se ha establecido si la codificación realizada por LLMs es consistente y equitativa a través de diferentes grupos demográficos (género, raza/etnia). Dado que estos modelos se entrenan en corpus de internet que pueden contener sesgos, existe el riesgo de que la codificación automatizada replique o amplifique disparidades, afectando la validez de las evaluaciones a gran escala.

2. Metodología

Datos y Tareas:
El estudio utilizó datos de 8,479 turnos de chat provenientes de 431 participantes en tres tipos de tareas de resolución colaborativa de problemas (CPS):

1. Negociación: Planificación de un evento de recaudación de fondos con incentivos individuales variables.
2. Toma de Decisiones: Selección de un apartamento compartiendo información parcial.
3. Letra a Número: Descifrar un mapeo oculto entre letras y números mediante operaciones lógicas.

Marco de Codificación:
Se utilizó un marco de codificación estandarizado (Kyllonen et al., 2023) que clasifica cada turno de chat en cinco categorías nominales:

• Mantener la comunicación (MC).
• Mantenerse en la tarea (OT).
• Solicitar información (EI).
• Compartir información (SI).
• Reconocer/Acknowledging (AK).

Diseño Experimental:

• Ratificadores: Dos ratificadores humanos (uno experto) codificaron los datos manualmente.
• IA: Se utilizó GPT-4o (versión 2024-05-13) con temperatura 0 y una semilla fija para maximizar la determinismo. Se empleó ingeniería de prompts con ejemplos few-shot (aprox. 10 ejemplos por categoría).
• Análisis Estadístico:
  • RQ1 (Consistencia de Acuerdo): Se utilizó un Modelo Lineal Mixto Generalizado (GLMM) con distribución binomial y enlace logit para analizar si el acuerdo entre IA y humanos varía por grupo demográfico, controlando por la estructura anidada de los datos (turnos anidados en individuos, individuos en equipos).
  • RQ2 (Confiabilidad): Se calculó el Kappa de Cohen para medir la fiabilidad inter-ratificador (Humano vs. IA y Humano vs. Humano) desglosado por subgrupos.
  • RQ3 (Patrones de Acuerdo): Se comparó el patrón de acuerdo entre la IA y un segundo ratificador humano frente al acuerdo entre dos ratificadores humanos.

3. Contribuciones Clave

1. Adaptación del Marco de Equidad: Los autores adaptan el marco de "equidad" de Williamson et al. (2012), diseñado originalmente para puntuaciones ordinales (como ensayos), al contexto de codificación nominal de turnos de comunicación. Proponen tres verificaciones específicas para LLMs:
   • Consistencia del acuerdo entre IA y humanos a través de subgrupos.
   • Variación de la fiabilidad (Kappa) entre subgrupos.
   • Comparabilidad de los patrones de acuerdo con un segundo ratificador humano.
2. Validación Empírica de Sesgos: Proporciona evidencia empírica sobre si GPT-4o introduce sesgos sistemáticos en la codificación de datos de colaboración basados en género y raza/etnia.
3. Metodología para Datos Anidados: Demuestra el uso de GLMMs con efectos aleatorios a nivel de individuo y equipo para manejar la dependencia de los datos en interacciones colaborativas, superando las limitaciones de los métodos que asumen observaciones independientes.

4. Resultados Principales

• Consistencia General: Los resultados indican que la codificación basada en ChatGPT es consistente con la de los ratificadores humanos a través de grupos de género y raza/etnia. No se encontraron diferencias significativas en el acuerdo general (IA-Humano) entre hombres y mujeres, ni entre los grupos raciales principales (Blanco, Negro, Hispano, Asiático).
• Fiabilidad (Kappa): Los valores de Kappa para el par IA-Humano fueron comparables a los del par Humano-Humano en todos los subgrupos y tareas. Esto sugiere que la fiabilidad de la codificación automatizada no varía sistemáticamente según la demografía.
• Matiz en la Tarea de Negociación: Se observó una interacción significativa en la tarea de "Negociación" donde el acuerdo IA-Humano fue más bajo para participantes negros en comparación con blancos. Sin embargo, el análisis detallado reveló que esto no se debió a un sesgo contra el grupo negro, sino a un acuerdo excepcionalmente alto entre IA y humanos para el grupo blanco (superior incluso al acuerdo humano-humano). Esto infló la diferencia relativa, creando una apariencia de disparidad que en realidad refleja una anomalía en el grupo de referencia.
• Robustez por Tarea: La consistencia se mantuvo a través de las tres tareas distintas (desde problemas estructurados hasta deliberación abierta), lo que sugiere que los hallazgos son generalizables a diferentes contextos de colaboración.

5. Significado e Implicaciones

• Viabilidad para Evaluaciones a Gran Escala: El estudio valida el uso de ChatGPT como una alternativa escalable y rentable a la codificación manual en evaluaciones de habilidades del siglo XXI, siempre que se mantenga la consistencia entre subgrupos.
• Guía para la Validación: Las tres verificaciones propuestas sirven como un marco inicial para que la comunidad de investigación y evaluación establezca estándares de consenso sobre la consistencia de subgrupos en sistemas de codificación basados en IA.
• Advertencia sobre la "Equidad": Los autores enfatizan que la consistencia en la codificación es una condición necesaria pero no suficiente para la equidad psicométrica final. La equidad debe evaluarse también en las puntuaciones agregadas y en la interpretación de los resultados a nivel individual o grupal.
• Limitaciones y Futuro: Se advierte que los resultados dependen de la versión específica del modelo (GPT-4o) y del diseño del prompt. A medida que los modelos evolucionan, se requiere una evaluación continua. Además, el estudio sugiere que la IA debe verse actualmente como un complemento a los ratificadores humanos hasta que se establezcan nuevos estándares profesionales y de consenso.

En conclusión, el estudio demuestra que, bajo las condiciones probadas, ChatGPT puede codificar datos de comunicación colaborativa con una precisión y consistencia demográfica comparables a la de los humanos, abriendo la puerta a la implementación de evaluaciones de colaboración más escalables y justas.