"Are you an AI?" Analyzing Client Suspicion of AI Use in Crisis Counseling

Resumen Técnico: "¿Eres una IA?" Analizando la sospecha de los clientes sobre el uso de IA en el asesoramiento en crisis

Planteamiento del problema
A medida que las herramientas de inteligencia artificial (IA) se despliegan cada vez más en la atención de la salud mental, la confianza pública en estos sistemas sigue siendo incierta. Si bien la IA puede ofrecer escalabilidad, no está claro cómo perciben los clientes la participación de la IA en las interacciones de asesoramiento, particularmente durante momentos de crisis que requieren empatía y conexión. Existe una brecha crítica en la comprensión de la frecuencia de la sospecha de los clientes respecto al uso de la IA, los detonantes específicos que precipitan estas dudas y cómo responden los consejeros humanos ante tales desafíos. Sin estos datos, resulta difícil diseñar sistemas de IA que preserven la relación terapéutica.

Metodología
El estudio analizó un conjunto de datos de 75.777 conversaciones de WhatsApp (que comprenden 2.225.107 mensajes) recopiladas de la Línea de Ayuda de Emergencia de la Fundación Vandrevala en la India entre el 31 de mayo de 2024 y el 31 de marzo de 2025. Todas las interacciones fueron realizadas por consejeros humanos capacitados sin asistencia de IA.

Para identificar y caracterizar los casos de sospecha de IA, los autores emplearon un Modelo de Lenguaje Extenso (LLM, GPT-4.1) para procesar el corpus. El LLM tuvo la tarea de:

1. Detección: Identificar conversaciones donde los clientes sospecharon explícitamente que estaban hablando con una IA.
2. Anotación: Extraer variables específicas, incluyendo la demografía del cliente, las preocupaciones presentadas, las actitudes hacia la IA, los detonantes de la sospecha (por ejemplo, retrasos en las respuestas, frases repetitivas), el momento de la sospecha dentro de la conversación, las estrategias de respuesta del consejero y las reacciones posteriores del cliente.

El proceso de anotación fue validado mediante un riguroso estudio de confiabilidad inter-evaluador. Cinco evaluadores humanos anotaron 100 conversaciones, logrando un acuerdo sustancial (Cohen's $\kappa \ge 0.61$) en categorías de etiqueta única. El LLM fue entonces evaluado frente a estas anotaciones humanas, demostrando métricas de acuerdo comparables o superiores (por ejemplo, $\kappa = 0.82$ para Actitud del Cliente, $\kappa = 0.89$ para Estrategia del Consejero), lo que respalda su uso como un anotador escalable.

Resultados Clave

• Prevalencia y Demografía: El estudio identificó 1.157 conversaciones (1,5%) donde los clientes sospecharon el uso de IA. La proporción de tales conversaciones aumentó del 0,8% en junio de 2024 al 2,6% en marzo de 2025. Los clientes que expresaron sospecha fueron estadísticamente más propensos a ser hombres (38,9% vs. 28,9%) y de edad entre 18–24 años (61,3% vs. 53,0%) en comparación con la muestra general.
• Actitudes y Creencias de los Clientes: Entre los clientes sospechosos, el 21,5% prefirió explícitamente la interacción humana, mientras que solo el 0,2% expresó una preferencia por la IA. Las creencias negativas más comunes sobre la IA fueron que carece de empatía (16,0%), es poco confiable (11,0%) o es poco útil (10,6%).
• Detonantes de la Sospecha: La sospecha surgió con mayor frecuencia en el primer (38,5%) o segundo (30,3%) cuarto de la conversación. Los principales detonantes incluyeron:
  • Preguntas no respondidas directamente (17,9%).
  • Respuestas impersonales (12,5%).
  • Respuestas repetitivas (14,6%).
  • Tiempos de respuesta más largos (8,5%).
  • Notablemente, en el 46,6% de los casos, no se identificó un "detonante claro" en el comportamiento del consejero.
• Respuestas de los Consejeros y Resultados:
  • Reaseguramiento: En el 84,3% de los casos, los consejeros reaseguraron explícitamente al cliente de que eran humanos (por ejemplo, "¡Le aseguro que esto no es una IA!"). Esta estrategia llevó a que el 54,8% de los clientes fueran menos suspicaces y el 27,6% pasara a discutir sus preocupaciones.
  • Evitación/Redirección: En el 15,7% de los casos, los consejeros redirigieron la conversación hacia la preocupación presentada por el cliente sin abordar explícitamente la sospecha. Esto resultó en que el 47,8% de los clientes continuara con el tema, pero el 52,2% continuó presionando, terminó la conversación o expresó frustración.

Significancia y Reivindicaciones
El artículo sostiene que, a medida que la familiaridad del público con la IA crece, la sospecha del uso de la IA en entornos de cuidado digital es probable que aumente, planteando riesgos potenciales para la relación terapéutica. Los autores destacan una paradoja: mientras que los revisores ciegos pueden juzgar los mensajes asistidos por IA como más humanos y empáticos que los puramente humanos, los clientes califican los mensajes de forma menos favorable cuando sospechan la participación de la IA, independientemente de si esa sospecha es correcta o no.

El estudio concluye que la transparencia no siempre genera confianza. En cambio, los hallazgos sugieren que los consejeros que reconocen las dudas del cliente y brindan reaseguramiento directo logran resultados notablemente mejores que aquellos que evaden la preocupación. Los autores argumentan que la integración de la asistencia de la IA en el asesoramiento requiere un equilibrio cuidadoso entre la transparencia y la percepción de autenticidad de la interacción terapéutica, señalando que el elemento "humano" es un componente crítico de la confianza del cliente en escenarios de crisis.