💬 NLP

Assessing Algorithmic Bias in Language-Based Depression Detection: A Comparison of DNN and LLM Approaches

Este estudo compara Redes Neurais Profundas e Grandes Modelos de Linguagem para a detecção de depressão em entrevistas clínicas, constatando que, embora os LLMs geralmente superem as DNNs e exibam redução no viés de gênero, ambas as abordagens ainda enfrentam dificuldades com disparidades raciais, com técnicas específicas de mitigação de viés, como a perda de pior grupo (worst-group loss) para DNNs e o prompting ético para LLMs, oferecendo uma mitigação parcial.

Autores originais: Obed Junias, Prajakta Kini, Theodora Chaspari

Publicado 2026-01-28

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Obed Junias, Prajakta Kini, Theodora Chaspari

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem dois tipos diferentes de detetives tentando resolver um mistério: "Esta pessoa está se sentindo deprimida?" baseando-se apenas no que ela diz durante uma entrevista.

O Detetive A (O DNN) é como um oficial júnior altamente treinado e especializado. Ele estudou milhares de livros de saúde mental e conhece as "regras" específicas da linguagem que costumam sinalizar tristeza.
O Detetive B (O LLM) é como um gênio de propósito geral superinteligente que leu quase tudo na internet. Ele não foi treinado especificamente para este caso, mas é incrivelmente bom em entender nuances, tom e contexto.

Os pesquisadores deste artigo queriam ver qual detetive era melhor em resolver o caso e, mais importante, será que algum deles trata as pessoas com justiça? Eles cometem erros com mais frequência para certos grupos de pessoas (como homens vs. mulheres, ou diferentes origens raciais) do que para outros?

Aqui está a divisão da investigação deles usando analogias simples:

1. A Configuração: A Sala de Entrevista

Os detetives receberam transcrições do DAIC-WOZ, uma coleção de entrevistas clínicas reais onde as pessoas falaram sobre suas vidas. Os pesquisadores observaram dois principais "suspeitos" de viés:

Gênero: Homens vs. Mulheres.
Raça/Etnia: Branco/Caucasiano vs. Afro-americano vs. Hispânico.

2. O Confronto: Quem é Melhor?

O Resultado: O LLM (Detetive B) foi geralmente melhor em detectar a depressão do que o DNN (Detetive A).

A Analogia: Pense no DNN como um estudante que memorizou um livro didático. Eles conhecem as definições, mas podem perder a "vibe" de uma conversa. O LLM é como um conselheiro experiente que consegue ler nas entrelinhas.
A Ressalva: Mesmo que o LLM fosse mais inteligente no geral, ele ainda tinha pontos cegos. Ele foi particularmente bom em ajudar o grupo Hispânico (que o DNN quase completamente falhou em atender), mas ainda lutava para tratar os participantes Afro-americanos e Brancos exatamente da mesma forma.

3. Corrigindo os Vieses: O "Treinamento"

Os pesquisadores tentaram "corrigir" os detetives para torná-los mais justos.

Corrigindo o Detetive A (O DNN)

Como o DNN é um modelo de aprendizado de máquina, você pode mudar sua "matemática" para forçá-lo a ser justo. Eles tentaram dois métodos:

Método 1: "A Regra do Pior Grupo" (Worst-Group Loss). Imagine um professor que diz: "Eu não me importo com o quão bem você se sai com os alunos fáceis; eu só me importo se você conseguir passar no aluno mais difícil". O modelo foi forçado a focar no grupo no qual estava falhando mais.
- Resultado: Isso funcionou bem! Equilibrou as pontuações sem arruinar a precisão geral do detetive.
Método 2: "A Regra da Média" (Fairness-Regularized Loss). Este método tentou fazer com que as pontuações fossem iguais para todos ao mesmo tempo.
- Resultado: Isso deixou o detetive muito confuso. Ele tentou tanto ser justo com todos que, na verdade, piorou na detecção da depressão de forma geral.

Corrigindo o Detetive B (O LLM)

Você não pode retreinar o LLM facilmente, então os pesquisadores tentaram Prompting (dar ao detetive um conjunto específico de instruções antes de começar).

O Prompt de "Enquadramento Ético": Eles deram ao LLM uma nota que dizia: "Ei, trate todos igualmente, independentemente de seu gênero ou raça. Não use estereótipos. Apenas olhe para as palavras".
- Resultado: Isso ajudou muito com o viés de gênero. Quando o LLM recebeu apenas um exemplo (1-shot) e esta nota ética, ele tratou homens e mulheres de forma muito mais justa.
- O Limite: Dar ao LLM mais exemplos (3-shot ou 5-shot) não ajudou a corrigir o viés ainda mais. Além disso, esta "Nota Ética" não corrigiu realmente o viés em relação à raça. O LLM ainda tinha problemas para tratar diferentes grupos raciais da mesma maneira, não importava quantas instruções ou exemplos fossem dados.

4. O Custo da Justiça

Houve uma troca entre tempo e dinheiro.

O Detetive A (DNN) era incrivelmente rápido, resolvendo um caso em 0,002 segundos.
O Detetive B (LLM) levava cerca de 0,68 segundos por caso.
A Lição: Embora o LLM fosse mais lento e mais "caro" para rodar, ele era geralmente mais preciso e mais fácil de corrigir para o viés de gênero do que o DNN, que é mais rápido e barato.

Resumo das Descobertas

O LLM é o detetive mais forte no geral, especialmente para grupos que o DNN perdeu completamente (como participantes Hispânicos).
O viés é persistente. Mesmo a IA mais inteligente (LLM) ainda luta para tratar diferentes grupos raciais exatamente da mesma forma, mesmo quando recebe instruções éticas.
O truque matemático do "Pior Grupo" foi a melhor maneira de corrigir o viés do DNN sem quebrar sua precisão.
Instruções éticas ajudaram o LLM a tratar homens e mulheres com justiça, mas apenas quando o detetive estava olhando para apenas um exemplo por vez.

Em resumo: O artigo mostra que, embora a IA esteja ficando melhor em detectar a depressão, ainda temos um longo caminho a percorrer para garantir que ela não discrimine acidentalmente as pessoas com base em quem elas são. Os "ajustes" que tentamos dependem fortemente se estamos usando um modelo especializado ou um gigante de propósito geral.

Resumo Técnico: Avaliação de Viés Algorítmico na Detecção de Depressão Baseada em Linguagem

Definição do Problema
Embora o Processamento de Linguagem Natural (PLN) ofereça caminhos promissores para a detecção automatizada da depressão por meio de pistas linguísticas, permanecem preocupações significativas em relação ao viés algorítmico entre grupos sociodemográficos. A literatura existente indica que os marcadores linguísticos da depressão variam conforme gênero, raça e etnia, podendo levar a desempenhos díspares em sistemas automatizados. Embora trabalhos anteriores tenham abordado o viés na detecção de depressão baseada em áudio ou multimodal, há uma lacuna notável na avaliação de modelos apenas de texto treinados em transcrições de entrevistas clínicas. Além disso, o impacto dos Modelos de Linguagem de Grande Escala (LLMs) emergentes sobre essas disparidades, e a eficácia das estratégias de mitigação de viés em contextos de PLN clínico, permanece pouco explorada. Este estudo investiga essas questões comparando embeddings de Redes Neurais Profundas (DNN) com abordagens de few-shot learning de LLMs no conjunto de dados Distress Analysis Interview Corpus/Wizard-of-Oz (DAIC-WOZ), focando em gênero e raça/etnia como principais fontes de viés.

Metodologia
O estudo utiliza o conjunto de dados DAIC-WOZ, composto por entrevistas clínicas pontuadas pelo Patient Health Questionnaire-8 (PHQ-8). Após excluir participantes com dados demográficos ausentes, a análise abrange 186 participantes para gênero e 184 para raça/etnia.

Arquiteturas de Modelos:
- Abordagem Baseada em DNN: O estudo emprega o Mental-RoBERTa, um modelo adaptado ao domínio e pré-treinado em corpora de saúde mental. Para lidar com transcrições longas, foi utilizada uma estratégia de fragmentação (chunking) (janelas de 300 palavras com sobreposição de 80 palavras), com as previsões finais determinadas por votação majoritária.
- Abordagem de LLM: O GPT-4o-mini foi utilizado para aprendizado de poucos disparos (few-shot learning). O estudo comparou o Prompting Não Guiado (UP) contra o Prompting Guiado (GP), que inclui pistas linguísticas específicas para depressão, e o Prompting Guiado com Enquadramento Ético (GP-EF), que adiciona instruções explícitas para evitar estereótipos e garantir tratamento equitativo. Os experimentos foram conduzidos em configurações de 1-shot, 3-shot e 5-shot.
Estratégias de Mitigação de Viés:
- Para DNNs: Duas funções de perda voltadas para a equidade (fairness-aware loss functions) foram implementadas:
  - Perda do Pior Grupo (Worst-Group Loss): Penaliza o modelo com base no subgrupo com a maior perda de entropia cruzada para melhorar o desempenho no grupo de pior desempenho.
  - Perda Regularizada por Equidade (Fairness-Regularized Loss): Adiciona um termo de penalidade proporcional à disparidade máxima nas perdas específicas de cada subgrupo.
- Para LLMs: A mitigação de viés foi explorada exclusivamente via aprendizado em contexto através de engenharia de prompt (GP e GP-EF) e variação do número de shots.
Métricas de Avaliação:
O desempenho foi medido usando Acurácia Balanceada (BA), Taxa de Verdadeiros Positivos (TPR), Precisão e pontuação F1. A equidade foi quantificada usando Igualdade de Oportunidades (EO), definida como $1 - |TPR_{não-sensível} - TPR_{sensível}|$ . A significância estatística foi avaliada via testes t e ANOVA.

Principais Contribuições
Este artigo contribui para o campo ao:

Prover uma análise comparativa de embeddings de DNN e LLMs para detecção de depressão, avaliando tanto o desempenho quanto a equidade algorítmica.
Examinar restrições de modelagem voltadas para a equidade (funções de perda) para a detecção de depressão baseada em texto, uma tarefa anteriormente dominada por pesquisas em dados tabulares ou multimodais.
Investigar técnicas de aprendizado em contexto com variados enquadramentos de prompt para mitigar o viés em LLMs, uma abordagem não estudada anteriormente para a detecção de depressão.

Resultos

Comparação de Desempenho: Os LLMs geralmente superaram os embeddings de DNN na classificação de depressão, particularmente para grupos sub-representados, como participantes hispânicos.
Viés de Gênero:
- DNNs: Mostraram disparidades de gênero significativas (EO = 0,85) antes da mitigação. A Perda do Pior Grupo alcançou um melhor equilíbrio entre desempenho e equidade em comparação com a Perda Regularizada por Equidade, que melhorou a equidade, mas ao custo de uma redução na acurácia.
- LLMs: Exibiram redução no viés de gênero em comparação com as DNNs (EO = 0,93 em 1-shot). A estratégia GP-EF melhorou ainda mais o EO na configuração de 1-shot, tornando as diferenças de gênero na TPR estatisticamente insignificantes. No entanto, aumentar o número de shots (3 e 5) não reduziu consistentemente as disparidades.
Viés de Raça/Etnia:
- DNNs: Existiam disparidades significativas, com participantes hispânicos apresentando desempenho próximo ao acaso antes da mitigação de viés. Ambas as funções de perda melhoraram o desempenho para os grupos hispânico e afro-americano, sendo que a Perda do Pior Grupo ofereceu um equilíbrio superior.
- LLMs: Embora os LLMs tenham melhorado a detecção geral para participantes hispânicos em comparação com as DNNs, as disparidades raciais persistiram. Nem o enquadramento de prompt (GP, GP-EF) nem o aumento do número de shots reduziram efetivamente as disparidades entre os grupos Afro-americano/Hispânico e Branco/Caucasiano.
Eficiência: Os embeddings de DNN foram significativamente mais rápidos (0,0025s por amostra) em comparação aos LLMs (0,68s por amostra), embora os LLMs tenham demonstrado resultados superiores de desempenho e equidade.

Significância e Alegações
O artigo conclui que, embora os LLMs ofereçam desempenho superior e, em geral, um viés de gênero reduzido em comparação com os embeddings tradicionais de DNN, as disparidades sociodemográficas — particularmente entre grupos raciais — persistem em ambos os tipos de modelos. O estudo destaca que as estratégias de mitigação de viés não são universais; a Perda do Pior Grupo provou ser eficaz para DNNs, enquanto o Enquadramento Ético nos prompts mostrou-se promissor para LLMs em configurações específicas (análise de gênero de 1-shot).

Os autores afirmam modestamente que esses achados ressaltam a complexidade de equilibrar equidade e acurácia na PLN clínica. Eles enfatizam a necessidade de adaptar as estratégias de mitigação de viés a tipos de modelos e contextos demográficos específicos. O estudo reconhece limitações, incluindo a sub-representação de participantes hispânicos com depressão no conjunto de dados e a avaliação de apenas dois modelos representativos por categoria, sugerindo que trabalhos futuros devem explorar uma gama mais ampla de modelos e conjuntos de dados multilíngues para validar a generalização.