💬 NLP

Assessing Algorithmic Bias in Language-Based Depression Detection: A Comparison of DNN and LLM Approaches

Este estudio compara las Redes Neuronales Profundas y los Modelos de Lenguaje de Gran Escala para la detección de la depresión en entrevistas clínicas, encontrando que, si bien los LLM generalmente superan a las DNN y exhiben un menor sesgo de género, ambos enfoques aún presentan dificultades con las disparidades raciales, con técnicas específicas de concienciación sobre la equidad, como la pérdida de peor grupo para las DNN y el prompting ético para los LLM, ofreciendo una mitigación parcial.

Autores originales: Obed Junias, Prajakta Kini, Theodora Chaspari

Publicado 2026-01-28

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Obed Junias, Prajakta Kini, Theodora Chaspari

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes dos tipos diferentes de detectives tratando de resolver un misterio: "¿Se siente esta persona deprimida?" basándose únicamente en lo que dicen durante una entrevista.

Detective A (El DNN) es como un oficial subalterno altamente entrenado y especializado. Ha estudiado miles de libros de salud mental y conoce las "reglas" específicas del lenguaje que suelen señalar la tristeza.
Detective B (El LLM) es como un genio de propósito general superinteligente que ha leído casi todo en internet. No ha sido entrenado específicamente para este caso, pero es increíblemente bueno entendiendo los matices, el tono y el contexto.

Los investigadores en este artículo querían ver qué detective era mejor resolviendo el caso y, lo que es más importante, ¿trata alguno de los detectives a las personas con justicia? ¿Cometen errores con más frecuencia para ciertos grupos de personas (como hombres frente a mujeres, o diferentes orígenes raciales)?

Aquí está el desglose de su investigación utilizando analogías sencillas:

1. La configuración: La sala de entrevistas

Los detectives recibieron transcripciones de DAIC-WOZ, una colección de entrevistas clínicas reales donde las personas hablaban de sus vidas. Los investigadores observaron dos principales "sospechosos" de sesgo:

Género: Hombres frente a Mujeres.
Raza/Etnia: Blancos/Caucásicos frente a Afroamericanos frente a Hispanos.

2. El enfrentamiento: ¿Quién es mejor?

El Resultado: El LLM (Detective B) fue generalmente mejor detectando la depresión que el DNN (Detective A).

La Analogía: Piensa en el DNN como un estudiante que se memorizó un libro de texto. Conoce las definiciones, pero podría perderse el "aire" o la esencia de una conversación. El LLM es como un consejero experimentado que puede leer entre líneas.
El Problema: Aunque el LLM era más inteligente en general, también tenía puntos ciegos. Fue particularmente bueno ayudando al grupo Hispano (con el que el DNN fallaba casi por completo), pero todavía tenía dificultades para tratar a los participantes Afroamericanos y Blancos de la misma manera.

3. Corrigiendo los sesgos: El "Entrenamiento"

Los investigadores intentaron "corregir" a los detectives para hacerlos más justos.

Corrigiendo al Detective A (El DNN)

Dado que el DNN es un modelo de aprendizaje automático, puedes cambiar su "matemática" para forzarlo a ser justo. Intentaron dos métodos:

Método 1: "La regla del peor grupo" (Pérdida del peor grupo / Worst-Group Loss). Imagina a un profesor que dice: "No me importa qué tan bien les vaya a los estudiantes fáciles; solo me importa si puedes aprobar al estudiante más difícil". El modelo fue forzado a enfocarse en el grupo en el que estaba fallando más.
- Resultado: ¡Esto funcionó bien! Equilibró las puntuaciones sin arruinar la precisión general del detective.
Método 2: "La regla del promedio" (Pérdida regularizada por equidad / Fairness-Regularized Loss). Este método intentaba que las puntuaciones fueran iguales para todos al mismo tiempo.
- Resultado: Esto confundió demasiado al detective. Intentó tanto ser justo con todos que, de hecho, empeoró en la detección de la depresión en general.

Corrigiendo al Detective B (El LLM)

No puedes reentrenar al LLM fácilmente, así que los investigadores probaron el Prompting (darle al detective un conjunto específico de instrucciones antes de comenzar).

El Prompt de "Encuadre Ético" (Ethical Framing): Le dieron al LLM una nota que decía: "Oye, trata a todos por igual independientemente de su género o raza. No uses estereotipos. Solo mira las palabras".
- Resultado: Esto ayudó mucho con el sesgo de género. Cuando el LLM recibió solo un ejemplo (1-shot) y esta nota ética, trató a hombres y mujeres de manera mucho más justa.
- El Límite: Darle al LLM más ejemplos (3-shot o 5-shot) no ayudó a corregir el sesgo más allá de eso. Además, esta "Nota Ética" no corrigió realmente el sesgo respecto a la raza. El LLM seguía teniendo problemas para tratar a los diferentes grupos raciales de la misma manera, sin importar cuántas instrucciones o ejemplos se le dieran.

4. El costo de la justicia

Hubo un intercambio entre tiempo y dinero.

Detective A (DNN) era increíblemente rápido, resolviendo un caso en 0.002 segundos.
Detective B (LLM) tardaba unos 0.68 segundos por caso.
La Conclusión: Aunque el LLM era más lento y "más caro" de ejecutar, era generalmente más preciso y más fácil de corregir para el sesgo de género que el DNN, que es más rápido y barato.

Resumen de hallazgos

El LLM es el detective más fuerte en general, especialmente para los grupos que el DNN pasó por alto por completo (como los participantes hispanos).
El sesgo es persistente. Incluso la IA más inteligente (LLM) todavía lucha por tratar a los diferentes grupos racales exactamente de la misma manera, incluso cuando se le dan instrucciones éticas.
El truco matemático del "Peor Grupo" fue la mejor manera de corregir el sesgo del DNN sin romper su precisión.
Las instrucciones éticas ayudaron al LLM a tratar a hombres y mujeres de manera justa, pero solo cuando el detective estaba mirando un solo ejemplo a la vez.

En resumen: El artículo muestra que, aunque la IA está mejorando en la detección de la depresión, aún nos queda un largo camino para asegurar que no discrimine accidentalmente a las personas basándose en quiénes son. Los "ajustes" que intentamos dependen en gran medida de si estamos usando un modelo especializado o un gigante de propósito general.

Resumen Técnico: Evaluación del Sesgo Algorítmico en la Detección de la Depresión Basada en el Lenguaje

Planteamiento del Problema
Si bien el Procesamiento de Lenguaje Natural (NLP) ofrece vías prometedoras para la detección automatizada de la depresión mediante claves lingüísticas, persisten preocupaciones significativas respecto al sesgo algorítmico entre grupos sociodemográficos. La literatura existente indica que los marcadores lingüísticos de la depresión varían según el género, la raza y la etnia, lo que podría derivar en un desempeño dispar en los sistemas automatizados. Aunque trabajos previos han abordado el sesgo en la detección de la depresión basada en audio o multimodal, existe una brecha notable en la evaluación de modelos basados únicamente en texto entrenados con transcripciones de entrevistas clínicas. Además, el impacto de los modelos de lenguaje de gran escala (LLM) emergentes en estas disparidades, así como la eficacia de las estrategias de mitigación de sesgos dentro de los contextos de NLP clínico, sigue siendo poco explorado. Este estudio investiga estos problemas comparando los incrustamientos (embeddings) de Redes Neuronales Profundas (DNN) con enfoques de aprendizaje de pocos disparos (few-shot) de LLM en el corpus de entrevistas clínicas DAIC-WOZ (Wizard-of-Oz), centrándose en el género y la raza/etnia como fuentes primarias de sesgo.

Metodología
El estudio utiliza el conjunto de datos DAIC-WOZ, que comprende entrevistas clínicas calificadas mediante el Cuestionario de Salud del Paciente-8 (PHQ-8). Tras excluir a los participantes con datos demográficos faltantes, el análisis cubre 186 participantes para género y 184 para raza/etnia.

Arquitecturas de Modelos:
- Enfoque basado en DNN: El estudio emplea Mental-RoBERTa, un modelo adaptado al dominio y preentrenado en corpus de salud mental. Para manejar transcripciones largas, se utilizó una estrategia de fragmentación (chunking) (ventanas de 300 palabras con un solapamiento de 80 palabras), utilizando el voto por mayoría para las predicciones finales.
- Enfoque de LLM: Se utilizó GPT-4o-mini para el aprendizaje de pocos disparos (few-shot learning). El estudio comparó el Prompting No Guiado (UP) contra el Prompting Guiado (GP), que incluye claves lingüísticas específicas de la depresión, y el Prompting Guiado con Encuadre Ético (GP-EF), que añade instrucciones explícitas para evitar estereotipos y asegurar un trato equitativo. Los experimentos se realizaron en configuraciones de 1, 3 y 5 disparos (shots).
Estrategias de Mitigación de Sesgo:
- Para DNNs: Se implementaron dos funciones de pérdida conscientes de la equidad (fairness-aware loss functions):
  - Pérdida del Peor Grupo (Worst-Group Loss): Penaliza al modelo basándose en el subgrupo con la mayor pérdida de entropía cruzada para mejorar el desempeño en el grupo con peor rendimiento.
  - Pérdida Regularizada por Equidad (Fairness-Regularized Loss): Añade un término de penalización proporcional a la máxima disparidad en las pérdidas específicas de cada subgrupo.
- Para LLMs: La mitigación del sesgo se exploró únicamente mediante el aprendizaje en contexto a través de la ingeniería de prompts (GP y GP-EF) y variando el número de disparos (shots).
Métricas de Evaluación:
El desempeño se midió utilizando Exactitud Balanceada (BA), Tasa de Verdaderos Positivos (TPR), Precisión y la puntuación F1. La equidad se cuantificó mediante la Igualdad de Probabilidades (EO), definida como $1 - |TPR_{no-sensible} - TPR_{sensible}|$ . La significancia estadística se evaluó mediante pruebas t y ANOVA.

Contribuciones Clave
Este artículo contribuye al campo al:

Proporcionar un análisis comparativo de los incrustamientos basados en DNN y los LLM para la detección de la depresión, evaluando tanto el desempeño como la equidad algorítmica.
Examinar las restricciones de modelado conscientes de la equidad (funciones de pérdida) para la detección de la depresión basada en texto, una tarea anteriormente dominada por la investigación en datos tabulares o multimodales.
Investigar técnicas de aprendizaje en contexto con diversos encuadres de prompts para mitigar el sesgo en los LLM, un enfoque que no había sido estudiado previamente para la detección de la depresión.

Resultados

Comparación de Desempeño: Los LLM generalmente superaron a los incrustamientos basados en DNN en la clasificación de la depresión, particularmente para grupos subrepresentados como los participantes hispanos.
Sesgo de Género:
- DNNs: Mostraron disparidades de género significativas (EO = 0.85) antes de la mitigación. La Pérdida del Peor Grupo logró un mejor equilibrio entre desempeño y equidad en comparación con la Pérdida Regularizada por Equidad, la cual mejoró la equidad pero a costa de reducir la exactitud.
- LLMs: Exhibieron un sesgo de género reducido en comparación con las DNN (EO = 0.93 en 1-shot). La estrategia GP-EF mejoró aún más la EO en la configuración de 1-shot, haciendo que las diferencias de género en la TPR fueran estadísticamente insignificantes. Sin embargo, aumentar el número de disparos (3 y 5) no redujo consistentemente las disparidades.
Sesgo de Raza/Etnia:
- DNNs: Existieron disparidades significativas; los participantes hispanos operaron cerca del nivel del azar antes de la mitigación de sesgos. Ambas funciones de pérdida mejoraron el desempeño para los grupos hispano y afroamericano, siendo la Pérdida del Peor Grupo la que ofreció un equilibrio superior.
- LLMs: Aunque los LLM mejoraron la detección general para los participantes hispanos en comparación con las DNN, las disparidades raciales persistieron. Ni el encuadre de los prompts (GP, GP-EF) ni el aumento del número de disparos lograron reducir eficazmente las disparidades entre los grupos afroamericano/hispano y blanco/caucásico.
Eficiencia: Los incrustamientos basados en DNN fueron significativamente más rápidos (0.0025s por muestra) en comparación con los LLM (0.68s por muestra), aunque los LLM demostraron resultados superiores en desempeño y equidad.

Significancia y Reivindicaciones
El artículo concluye que, si bien los LLM ofrecen un desempeño superior y, en general, un sesgo de género reducido en comparación con los incrustamientos tradicionales de DNN, las disparidades sociodemográficas —particularmente entre grupos raciales— persisten en ambos tipos de modelos. El estudio destaca que las estrategias de mitigación de sesgos no son una solución única para todos; la Pérdida del Peor Grupo resultó efectiva para las DNN, mientras que el Encuadre Ético en los prompts mostró ser prometedor para los LLM en configuraciones específicas (análisis de género de 1-shot).

Los autores afirman modestamente que estos hallazgos subrayan la complejidad de equilibrar la equidad y la exactitud en el NLP clínico. Enfatizan la necesidad de adaptar las estrategias de mitigación de sesgos a tipos de modelos y contextos demográficos específicos. El estudio reconoce las limitaciones, incluyendo la subrepresentación de participantes hispanos con depresión en el conjunto de datos y la evaluación de solo dos modelos representativos por categoría, sugiriendo que el trabajo futuro debería explorar rangos de modelos más amplios y conjuntos de datos multilingües para validar la generalizabilidad.