Studying People to Study AI: Expert Perspectives on the Epistemic Fit and Barriers of Human Research in AI Safety & Ethics

Imagine que você está tentando construir um robô que possa falar, pensar e ajudar as pessoas. Você quer garantir que esse robô seja seguro e não machuque ninguém acidentalmente ou diga algo rude. Para fazer isso, cientistas têm realizado testes. Mas aqui está a parte complicada: a maioria desses testes é como jogar um videogame onde o robô fala com outro robô. Eles simulam como um humano poderia reagir, ou usam matemática para verificar se o robô está seguindo as regras. É rápido, barato e fácil de rodar um milhão desses jogos "robô contra robô" em um dia.

No entanto, há um grande problema em apenas jogar videogames. Só porque um robô passa em um teste contra outro robô, não significa que ele será seguro quando encontrar um ser humano real, bagunçado e emocional. Humanos reais são complicados. Eles ficam confusos, sentem emoções e podem enganar o robô de maneiras que uma simulação jamais conseguiria. Este artigo faz uma pergunta simples, mas enorme: Por que tantos cientistas ainda estão jogando videogames com robôs em vez de realmente conversar com pessoas reais para ver o que acontece?

---

O Grande Teste do Robô: Por Que Precisamos de Pessoas Reais, Não Apenas Simulações

Este artigo é como um conto de detetive investigando uma estranha lacuna no mundo da segurança de IA. Os pesquisadores, uma equipe de especialistas de universidades como a Universidade de Toronto e McGill, queriam entender por que o campo da Segurança e Ética de IA (vamos chamá-lo de AISE para abreviar) é tão hesitante em usar seres humanos reais em seus experimentos.

Pense na AISE como um grande workshop onde pessoas estão tentando construir os robôs mais seguros e éticos possíveis. Dentro deste workshop, existem diferentes grupos de especialistas. Alguns são magos Técnicos que amam código, matemática e execução de simulações. Outros são detetives Sociotécnicos que se preocupam com como as pessoas realmente se sentem e interagem com a tecnologia. Existem também pessoas de Governança que pensam em regras e leis, e pensadores Normativos que se preocupam com o que é "certo" ou "bom".

A principal descoberta do artigo é que, embora todos no workshop concordem que falar com humanos reais é super importante, o grupo Técnico está majoritariamente ignorando isso. Eles preferem suas simulações de computador rápidas e limpas. Os autores descobriram que isso não é apenas porque o grupo Técnico prioriza a eficiência; é porque eles têm uma forma diferente de pensar sobre o que conta como "prova".

O "Videogame" vs. O "Mundo Real"

Os autores descrevem uma divisão importante. Os pesquisadores Técnicos frequentemente tratam humanos como variáveis em uma equação matemática. Eles querem medir coisas com uma régua e um cronômetro. Se eles não puderem medir algo perfeitamente, muitas vezes não confiam nisso. Eles se preocupam que falar com pessoas reais seja "bagunçado".

Imagine que você está tentando testar uma nova ponte.

• A Abordagem de Simulação: Você constrói um modelo digital perfeito da ponte em um computador. Você roda um milhão de tempestades de vento através dela. O computador diz: "É 100% segura!" Isso é rápido e barato.
• A Abordagem de Pesquisa Humana: Você realmente constrói a ponte e pede para pessoas reais atravessarem nela. Talvez algumas pessoas fiquem assustadas, talvez o vento pareça diferente do que o computador disse, e talvez a ponte balance de uma forma que o modelo não previu.

O artigo sugere que a AISE está atualmente obcecada pelo modelo de computador. Eles estão rodando bilhões de simulações (como os "videogames" mencionados anteriormente) para ver se a IA é segura. Mas os autores argumentam que isso é arriscado. Se você testar sua ponte apenas em um computador, pode perder o fato de que pessoas reais entram em pânico quando o vento sopra, ou que a ponte faz um barulho estranho que as assusta.

A Armadilha do "Human-Washing"

Uma das coisas mais interessantes que o artigo alerta é algo que os autores chamam de "human-washing" (lavagem humana). Isso é como o "green-washing", onde uma empresa coloca uma folha em um frasco para parecer ecologicamente correto sem ser realmente verde.

O "human-washing" acontece quando pesquisadores dizem: "Ei, nós conversamos com algumas pessoas!", apenas para marcar um item em uma lista de tarefas. Mas eles não as ouviram de verdade, ou não fizeram as perguntas certas. Eles apenas adicionaram alguns humanos ao seu estudo para fazer parecer que estavam fazendo pesquisa real, mas não mudaram seus métodos. Os autores dizem que isso é perigoso porque dá uma falsa sensação de segurança. É como colocar um extintor de incêndio falso na parede; parece que você está preparado, mas se um incêndio começar, ele não funcionará.

As Barreiras: Por Que Eles Simplesmente Não Fazem?

Você pode se perguntar: "Se todos concordam que a pesquisa humana é boa, por que não fazem mais dela?" O artigo encontrou três grandes muros impedindo-os:

1. O Muro do Dinheiro e do Tempo: Conversar com humanos reais é caro e lento. Os autores observam que uma simulação de computador pode custar menos de US$ 1.000 para rodar. Mas um estudo sério com pessoas reais? Isso pode custar US$ 300.000 ou mais. Além disso, leva meses para encontrar as pessoas certas, obter permissão de comitês de ética e realizar os testes. É como a diferença entre desenhar um desenho de um bolo e realmente assar um bolo gigante para uma festa.
2. O Muro do Mentor: Muitos pesquisadores jovens querem estudar pessoas reais, mas seus chefes (mentores) dizem para não fazerem isso. O artigo compartilha histórias de estudantes cujos orientadores disseram: "Não faça isso, não é ciência 'real'", ou "Apenas foque no código". Isso faz com que os jovens cientistas tenham medo de tentar a pesquisa humana porque acham que isso prejudicará suas carreiras.
3. O Muro dos "Dados Bagunçados": Pesquisadores técnicos frequentemente acham os dados humanos frustrantes. Humanos nem sempre respondem às perguntas da mesma maneira. Eles mentem, ficam cansados ou dizem algo estranho. Para um cientista da computação que ama números perfeitos, isso parece um erro no sistema. Mas os autores argumentam que esse "caos" é, na verdade, a parte mais importante dos dados, porque é a vida real.

O Hiato Entre "Querer" e "Fazer"

Os pesquisadores entrevistaram 93 especialistas e realizaram entrevistas profundas com 17 deles. Eles encontraram um enorme abismo. Quase todos disseram que queriam fazer mais pesquisa humana. Eles concordavam que era valiosa. Mas quando olharam para o que as pessoas estavam realmente fazendo, os números eram muito menores.

É como uma academia onde todos dizem: "Eu realmente quero ficar em forma e levantar pesos", mas quando você olha para os equipamentos, ninguém está levantando nada. Eles estão apenas lendo livros sobre pesos. O grupo Técnico foi o menos propenso a levantar os pesos; eles preferiam os livros (simulações).

O Que Devemos Fazer?

O artigo não apenas aponta o problema; ele oferece algumas ideias para consertá-lo:

• Parar o "Human-Washing": Precisamos garantir que, quando incluirmos humanos, o façamos adequadamente. Precisamos respeitar o tempo deles e ouvir o que dizem, não apenas usá-los como um acessório.
• Mudar o Dinheiro: Grupos de financiamento (as pessoas que concedem subsídios) precisam perceber que a pesquisa humana custa mais. Eles devem dar mais dinheiro para esses projetos para que não sejam esmagados pelo alto preço.
• Misturar as Equipes: Precisamos de mais equipes onde os magos do código e os especialistas em pessoas trabalhem juntos desde o início. Atualmente, eles frequentemente trabalham em salas separadas. Os autores sugerem que, se um pesquisador Técnico quer construir uma IA segura, ele precisa conversar com um pesquisador Sociotécnico que entenda como os humanos realmente se comportam.

A Conclusão

Este artigo sugere que o campo da Segurança de IA está atualmente muito focado em modelos de computador perfeitos e pouco no mundo real e bagunçado dos seres humanos. Embora as simulações sejam úteis, elas não podem substituir a verdade que só vem de conversar com pessoas reais. Se quisermos construir uma IA que seja verdadeiramente segura, precisamos parar de tratar humanos como variáveis em um problema matemático e começar a tratá-los como os especialistas em suas próprias vidas.

Os autores não estão dizendo que as simulações são ruins; eles estão dizendo que confiar apenas em simulações é como tentar aprender a nadar lendo um livro sobre a água. Você precisa se molhar. E, no momento, a comunidade de segurança de IA está majoritariamente mantendo-se seca, lendo os livros e esperando que a água seja segura.