Who is Responsible? The Data, Models, Users or Regulations? A Comprehensive Survey on Responsible Generative AI for a Sustainable Future

Este artigo apresenta uma revisão abrangente de 232 estudos sobre IA Generativa Responsável, propondo uma estrutura unificada de avaliação e governança que identifica lacunas críticas em benchmarks atuais e define uma agenda de pesquisa para garantir a segurança e a sustentabilidade da IA em diversos setores.

O essencial

Imagine que a Inteligência Artificial Generativa (como o ChatGPT, DALL-E ou modelos que criam vídeos) é como um cozinheiro superpoderoso que acabou de sair da escola de culinária e foi contratado para trabalhar em restaurantes de todo o mundo. Ele é incrível: cria pratos (textos, imagens, códigos) em segundos, aprende rápido e pode até cozinhar sozinho (agentes autônomos).

Mas, como todo novo funcionário, ele tem problemas: às vezes inventa receitas que não existem (alucinações), usa ingredientes roubados (vazamento de dados), ou serve pratos que ofendem certos clientes (viés e toxicidade).

Este artigo é como um grande relatório de inspeção sanitária e de segurança feito por um time de especialistas internacionais. Eles olharam para centenas de estudos e perguntaram: "Quem é o responsável se o prato sair errado? O cozinheiro, o dono do restaurante, o cliente ou a lei?"

Aqui está a explicação simples, ponto a ponto:

1. O Problema: O Cozinheiro Está Correndo Muito Rápido

A IA está sendo usada em hospitais, bancos, escolas e exércitos. O problema é que ela está sendo implantada mais rápido do que conseguimos criar regras de segurança.

• A Metáfora: É como se tivéssemos dado carros autônomos para milhões de pessoas dirigirem, mas ainda não tínhamos testes de direção, leis de trânsito claras ou cintos de segurança obrigatórios.
• O Risco: O "cozinheiro" pode inventar fatos médicos falsos, vazar segredos bancários, criar deepfakes (vídeos falsos) ou ser enganado por um cliente mal-intencionado que tenta "hackear" a receita.

2. A Grande Descoberta: Estamos Medindo a Coisa Errada

Os autores analisaram 232 estudos e descobriram algo preocupante:

• O que medimos muito: Estamos muito bons em verificar se o cozinheiro é "político" ou se usa palavras feias (viés e toxicidade).
• O que ignoramos: Estamos péssimos em verificar se ele está mentindo sobre fatos, se está vazando segredos, se consegue criar vídeos falsos convincentes ou se o sistema inteiro vai desmoronar se ele tentar usar ferramentas sozinho (como um agente que faz compras na internet).
• A Analogia: É como se um carro tivesse um teste de segurança que verificava se o banco é confortável e se o rádio funciona, mas não verificava se os freios funcionam ou se o motor não explode.

3. A Solução Proposta: O "Kit de Ferramentas" de Segurança

Os autores não apenas apontaram os problemas; eles criaram um manual para consertar tudo. Eles propõem três coisas principais:

A. A "Lista de Checagem" (O Rubric C1-C10)

Eles criaram uma lista de 10 critérios para avaliar se uma IA é segura. Pense nisso como uma lista de verificação para um piloto antes de decolar:

1. O avião tem viés? (Não discrimina passageiros?)
2. É tóxico? (Não xinga ninguém?)
3. É seguro contra hackers?
4. Não espalha fake news?
5. Não cria deepfakes?
6. Protege a privacidade?
7. O sistema todo não vai falhar?
8. Ele aguenta testes de estresse?
9. Os testes são válidos?
10. Ele segue as leis do país?

Eles testaram as ferramentas atuais de segurança e descobriram que nenhuma delas passa em todos os 10 pontos. A maioria foca apenas em 3 ou 4.

B. Os "Medidores de Vida Real" (KPIs)

Em vez de apenas dizer "a IA é justa", eles propõem medir coisas concretas, como:

• Taxa de Erro Crítico: Quantas vezes a IA deu uma informação médica errada que poderia matar alguém?
• Frequência de Auditoria: Quantas vezes verificamos o trabalho do cozinheiro?
• Energia Gasta: Quanto de eletricidade e carbono essa IA consome para cozinhar um prato?

C. O "Ciclo de Auditoria" (O Loop)

Eles sugerem que a segurança não pode ser um teste único. Deve ser um ciclo contínuo:

1. Testar a IA.
2. Gerar um relatório (como um "passaporte" da IA).
3. Colocar em uso.
4. Monitorar o que acontece no mundo real.
5. Ajustar a IA com base nos erros.
6. Repetir.

4. Quem é o Responsável? (A Resposta Final)

A pergunta do título é respondida com uma ideia chamada "Modelo de Responsabilidade Simétrica".

• Não é só culpa do Cozinheiro (Desenvolvedores): Eles precisam criar ferramentas seguras e explicar como funcionam.
• Não é só culpa do Dono (Empresas): Elas precisam auditar e seguir as leis.
• Mas também não é só culpa do Cliente (Usuários): As pessoas precisam ter "alfabetização digital". Se você pede para a IA mentir para você, você é responsável por não acreditar.

A Metáfora Final:
Imagine que a IA é um motor de um carro.

• Os Desenvolvedores construíram o motor.
• As Leis definem a velocidade máxima e as regras da estrada.
• Os Usuários são os motoristas.

Se o carro bate, não podemos culpar apenas o fabricante do motor. O motorista (usuário) precisa saber dirigir, não pode estar bêbado (sem alfabetização digital) e deve seguir as regras. Mas, se o motor tem um defeito de fábrica que ninguém viu, o fabricante é responsável.

Conclusão Simples

Este artigo diz: "Pare de apenas verificar se a IA é 'bonitinha' e 'política'. Precisamos verificar se ela é segura, se não mente, se não vaza segredos e se funciona bem em situações de emergência."

Eles oferecem um mapa (o "Kit de Ferramentas") para que empresas, governos e cientistas possam construir um futuro onde a Inteligência Artificial seja uma aliada poderosa, e não um perigo imprevisível. A responsabilidade é de todos nós, trabalhando juntos.

Resumo técnico

Resumo Técnico: Uma Pesquisa Abrangente sobre IA Generativa Responsável

1. O Problema

A IA Generativa (GenAI), incluindo Grandes Modelos de Linguagem (LLMs), modelos de visão-linguagem (VLMs), modelos de difusão e pipelines de agentes autônomos, está transitando rapidamente de protótipos de pesquisa para implantações de produção. No entanto, essa aceleração expôs lacunas críticas na governança e na avaliação de riscos.

O problema central identificado é a desconexão entre os princípios de IA Responsável (RAI), as avaliações técnicas e as necessidades de governança regulatória. Embora existam frameworks conceituais (como o NIST AI RMF e a Lei de IA da UE), a implementação prática carece de:

• Avaliação Estática: A maioria dos benchmarks atuais foca em tarefas locais e estáticas, falhando em capturar falhas sistêmicas em ambientes de agentes, vazamento de dados, deepfakes e alucinações complexas.
• Falta de Evidências Portáteis: Há uma escassez de artefatos de auditoria padronizados que conectem métricas técnicas a requisitos regulatórios.
• Assimetria de Responsabilidade: 74% das organizações usam GenAI, mas apenas 26% possuem uma estratégia abrangente de IA Responsável, deixando os usuários finais expostos a riscos não mitigados.

2. Metodologia

O estudo adota uma abordagem sistemática rigorosa, seguindo as diretrizes PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses) para garantir transparência e reprodutibilidade.

• Escopo Temporal: Novembro de 2022 a Dezembro de 2025 (período pós-GPT).
• Fontes de Dados: Busca em cinco bases acadêmicas principais (Scopus, Web of Science, IEEE Xplore, ACM Digital Library, arXiv).
• Processo de Seleção:
  • Inicialmente identificadas 5.313 registros.
  • Após deduplicação e triagem por critérios de elegibilidade (artigos revisados por pares, foco técnico em riscos/controles de GenAI), o conjunto final consistiu em 232 estudos (nota: o resumo menciona 232 no abstract, mas a seção de metodologia detalha um processo que resultou em 142 estudos para síntese final; o número 232 refere-se ao escopo total analisado para a taxonomia).
• Critérios de Inclusão: Foco em frameworks técnicos, métricas de avaliação e avaliações de risco empíricas para sistemas de GenAI (LLMs, VLMs, agentes).

3. Principais Contribuições

Os autores apresentam quatro contribuições fundamentais para o campo:

1. Primeira Pesquisa Integrada: Um levantamento que conecta simultaneamente princípios de governança, avaliação técnica e implantação de domínio para quatro tipos de sistemas: LLMs, VLMs, modelos de difusão e pipelines de agentes.
2. Rubrica de Avaliação (C1–C10): Desenvolvimento de uma rubrica de dez critérios para pontuar benchmarks de segurança de IA quanto à cobertura de superfície de risco e qualidade de garantia.
   • Inclui uma "Policy Crosswalk" (Mapeamento de Políticas) que conecta cada benchmark a requisitos regulatórios específicos (ex: Lei de IA da UE, NIST).
3. KPIs de Ciclo de Vida e Testbeds:
   • Estabelecimento de 12 Indicadores-Chave de Desempenho (KPIs) mensuráveis (ex: taxa de erro de alto risco, conformidade de privacidade, sustentabilidade energética).
   • Criação de um catálogo de Testbeds Prontos para IA e diretrizes de explicabilidade (XAI) adaptadas para modelos fundamentais.
4. Análise Específica por Domínio: Avaliação detalhada de riscos e estratégias em setores críticos: Saúde, Finanças, Educação, Artes, Agricultura e Defesa.

4. Resultados e Descobertas Chave

A. Cobertura de Benchmarks (Rubrica C1–C10)
A análise de 21 benchmarks populares revelou um desequilíbrio significativo:

• Cobertura Densa: Viés (C1) e Toxicidade (C2) são bem cobertos (ex: RealToxicityPrompts, SafetyBench).
• Cobertura Esparsa: Privacidade (C6), Proveniência, Deepfakes (C5) e Falhas de Nível de Sistema (C7) em ambientes de agentes são negligenciados.
• Benchmarks Líderes: Rainbow Teaming obteve a maior pontuação (0.50) devido à sua cobertura de adversários adaptativos e realismo de "red teaming". A maioria dos outros benchmarks foca em verificações estáticas e baseadas em palavras-chave.

B. Lacunas Identificadas

• Falhas de Agentes: Pipelines autônomos introduzem novos vetores de falha, como "alucinação recursiva" (onde uma alucinação alimenta o próximo passo de planejamento) e "sequestro de plano" via manipulação de Chain of Thought.
• Lavagem de Segurança (Safetywashing): Modelos podem obter altas pontuações em benchmarks estáticos aprendendo scripts de recusa baseados em palavras-chave, falhando em interações humanas complexas e multi-turno.
• Paradoxo Privacidade-Fairness: A necessidade de dados demográficos granulares para auditoria de viés conflita com regulamentos de privacidade (GDPR) que exigem minimização de dados.

C. Taxonomia de Riscos
O estudo categoriza os desafios em:

• Desafios Técnicos: Alucinações (fáticas, contextuais, temporais), vazamento de dados, envenenamento de dados.
• Ameaças Emergentes: Inversão de embeddings, shadow AI (implantação descentralizada sem supervisão), enxames de identidades sintéticas.
• Falhas Específicas de Agentes: Uso indevido de ferramentas, vazamento de autenticação e falhas de planejamento.

D. Modelo de Responsabilidade Simétrica
Os autores propõem que a responsabilidade não é apenas dos desenvolvedores.

• Desenvolvedores: Responsáveis por Transparência e Alinhamento.
• Usuários: Responsáveis pela Integridade Operacional e Disseminação (alfabetização digital como controle técnico).

5. Significado e Impacto

Este trabalho oferece um caminho estruturado para alinhar a avaliação técnica da IA Generativa com as necessidades de governança para uma implantação segura e sustentável.

• Para Praticantes: A "Matriz de Responsabilidade ResGenAI" (Tabela 7) fornece um guia de decisão para selecionar ferramentas de auditoria e benchmarks adequados aos requisitos específicos de cada setor (ex: Finanças vs. Saúde).
• Para Reguladores: O mapeamento de benchmarks para requisitos legais (Lei de IA da UE, NIST) ajuda a identificar quais evidências técnicas são necessárias para conformidade, superando a dependência de declarações subjetivas de segurança.
• Para a Comunidade Científica: Define uma agenda de pesquisa prioritária, incluindo:
  1. Avaliação adaptativa e multimodal.
  2. Testes de privacidade e proveniência.
  3. Avaliação de riscos de deepfakes.
  4. Relatórios de calibração e sustentabilidade (energia/emissões).

Em suma, o artigo argumenta que a transição da IA Generativa para um futuro sustentável exige a mudança de verificações de segurança estáticas para um ciclo de auditoria contínuo, onde métricas técnicas (KPIs) geram evidências portáteis que suportam a confiança institucional e a conformidade regulatória.