LLM Harms: A Taxonomy and Discussion

Resumo Técnico: Danos de LLMs: Uma Taxonomia e Discussão

Declaração do Problema
A rápida adoção de Modelos de Linguagem de Grande Porte (LLMs) nos setores de saúde, finanças, educação e indústrias criativas superou o desenvolvimento de frameworks integrativos para categorizar e mitigar os riscos associados. Embora a literatura existente aborde danos específicos — que vão desde violações de privacidade no pré-treinamento até a geração de conteúdo extremista e deslocamento econômico —, esses riscos permanecem fragmentados. A ausência de uma estrutura unificada dificulta a responsabilização, a transparência e a navegação eficaz de vieses. Além disso, repositórios de incidentes do mundo real indicam um volume crescente de falhas de IA, tornando necessária uma categorização sistemática de danos que abranja todo o ciclo de vida das aplicações de IA, desde o pré-desenvolvimento até a implantação downstream.

Metodologia
Este estudo emprega uma metodologia de revisão sistemática alinhada à lista de verificação PRISMA-2020. Os autores realizaram uma busca em múltiplos bancos de dados (abrangendo Google Scholar, IEEE Xplore, ACM DL e outros) por publicações entre janeiro de 2021 e junho de 2025. A estratégia de busca utilizou termos âncora (por exemplo, "modelo de linguagem de grande porte", "modelo de base") combinados com eixos específicos de dano (pré-implantação, saída direta, uso indevido, sistêmico). De um conjunto inicial de 1.986 registros mais 24 artigos seminais manuais, os autores selecionaram e codificaram um corpus final de 200 estudos. Cada estudo foi analisado quanto ao tipo de dano, gravidade, prevalência e alegações de mitigação. Esta síntese quantitativa foi complementada por dez entrevistas com especialistas, incluindo engenheiros de segurança e formuladores de políticas. O escopo restringe-se a LLMs baseados em texto com parâmetros maiores ou iguais a 7 bilhões, excluindo híbridos visão-linguagem e modelos pequenos específicos de domínio.

Principais Contribuições: Uma Taxonomia de Danos do Ciclo de Vida
A contribuição primária deste trabalho é uma taxonomia abrangente de danos de LLMs baseada na linha do tempo de desenvolvimento, organizada em cinco categorias distintas:

1. Danos Pré-Implantação:

   • Danos de Dados de Treinamento: Inclui violações de privacidade (memorização de dados sensíveis), falta de consentimento e a perpetuação de vieses históricos e discurso de ódio embutidos em corpora em escala de web.
   • Danos Ambientais e de Recursos: Abrange a pegada de carbono significativa do treinamento e inferência, o consumo de água para resfriamento e os impactos na cadeia de suprimentos da fabricação de hardware (por exemplo, mineração de cobalto).
   • Danos Laborais e Econômicos no Desenvolvimento: Destaca a exploração de anotadores de dados (frequentemente com baixos salários), o impacto psicológico sobre moderadores de conteúdo e a concentração de recursos de P&D em poucas grandes empresas de tecnologia.

2. Danos de Saída Direta:

   • Danos Representacionais: Abrange viés demográfico, estereotipagem e a má representação de perspectivas e dialetos minoritários (por exemplo, Inglês Vernacular Afro-Americano).
   • Danos Baseados em Conteúdo: Inclui a geração de conteúdo tóxico, desinformação e saídas que violam a privacidade.
   • Danos de Qualidade e Confiabilidade: Aborda alucinações, erros factuais, raciocínio inconsistente e excesso de confiança em respostas incorretas.

3. Danos de Uso Indevido e Aplicação Maliciosa:

   • Criação Deliberada de Conteúdo Prejudicial: O uso de LLMs para gerar discurso de ódio, ferramentas de assédio e propaganda extremista em escala.
   • Práticas Enganosas: Facilitação de desonestidade acadêmica, fraude, assistência a golpes e criação de texto deepfake.
   • Ataques de Segurança e Privacidade: Inclui vulnerabilidades de injeção de prompt, ataques de extração de dados (recuperação de dados de treinamento) e aprimoramentos de engenharia social.

4. Danos Societais e Sistêmicos:

   • Disrupção Econômica: Deslocamento de empregos, polarização salarial e a concentração de ganhos de produtividade em empresas "superestrela".
   • Danos Democráticos e Sociais: Manipulação de ecossistemas de informação, amplificação de viés político e degradação do discurso público via botnets e conteúdo "cinza".
   • Desigualdades de Poder e Acesso: O alargamento do fosso tecnológico devido à concentração de computação, criando barreiras para atores menores e para o Sul Global.

5. Danos de Aplicação Downstream:

   • Tomada de Decisão de Alto Risco: Riscos na saúde (erros de diagnóstico), finanças (aconselhamento alucinado) e justiça criminal (amplificação de viés na pontuação de risco).
   • Impactos no Sistema Educacional: Erosão de habilidades de pensamento crítico, questões de integridade em avaliações e o efeito de "atrofia do pensamento".
   • Trabalho Profissional e Criativo: Violações de propriedade intelectual, desvalorização do trabalho criativo humano e o minar da expertise profissional.

Resultados e Análise
A análise revela que os clusters de danos são interdependentes, e não isolados; por exemplo, dados de treinamento que violam a privacidade semeiam viés na saída direta, que pode então ser weaponizado via jailbreaks. O estudo constata que, embora mitigações técnicas (por exemplo, red-teaming, ajuste de alinhamento, geração aumentada por recuperação) tenham reduzido certas falhas óbvias (como saída tóxica flagrante), vieses mais sutis e alucinações persistem. As respostas de governança estão atualmente fragmentadas, com a Lei de IA da UE impondo deveres vinculativos, enquanto os EUA dependem principalmente de estruturas voluntárias.

Uma descoberta crítica é o surgimento de novas categorias de danos, particularmente em ecossistemas de LLMs multiagente, onde falhas recursivas e comportamentos coletivos emergentes (por exemplo, agentes reforçando as alucinações uns dos outros) criam riscos não cobertos por taxonomias de modelos únicos. Evidências longitudinais sugerem que, embora alguns danos iniciais (por exemplo, insultos explícitos) tenham diminuído devido a filtros, danos sistêmicos e relacionados ao uso indevido estão aumentando em prevalência à medida que os LLMs se tornam mais integrados na sociedade.

Significado e Direções Futuras
O artigo argumenta que uma "defesa em camadas" é essencial, combinando red-teaming rigoroso, ajuste de alinhamento, uso de ferramentas em sandbox e monitoramento contínuo com transparência executável e regras de alocação de computação. Postula que, sem tal integração, os dividendos de produtividade dos LLMs correm o risco de ser ofuscados por violações de privacidade, cascatas de desinformação e desigualdade crescente.

Os autores defendem:

• Auditoria Dinâmica: Sistemas de monitoramento contínuo e em tempo real para sinalizar questões emergentes, como novas formas de discurso de ódio ou ataques de prompt.
• Colaboração Interdisciplinar: Integração de éticos, cientistas sociais e especialistas de domínio no ciclo de desenvolvimento de IA para abordar o contexto sociocultural dos danos.
• Governança de Computação: Exploração de regimes regulatórios (por exemplo, cap-and-trade para FLOPs) para gerenciar os recursos upstream que impulsionam as capacidades dos modelos.
• Evolução de Benchmarks: Desenvolvimento de plataformas de benchmarking dinâmicas e abertas que evoluam com as capacidades dos modelos e incluam dados de incidentes do mundo real.

Em última análise, o estudo conclui que, embora os LLMs detenham potencial substancial para o bem social, realizar esse potencial exige uma abordagem proativa e multifacetada para minimizar danos, orientando a inovação por meio de guardrails informados por incidentes passados e pesquisas em andamento.