Detection != Reliable Control: Decodable Empathy Directions Yield at Most Partial Shifts in Automated Empathy Scores
Este artigo demonstra que, embora as direções de empatia decodificáveis em LLMs ajustados por instrução possam detectar de forma confiável e deslocar parcialmente as pontuações de empatia automatizadas, elas não constituem alavancas causais confiáveis para um controle abrangente, falhando particularmente em produzir mudanças mensuráveis percebidas por humanos ou efeitos consistentes através de diferentes facetas de empatia e modelos.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo da inteligência artificial, que evolui rapidamente, os investigadores estão cada vez mais interessados em saber se as máquinas podem verdadeiramente compreender a emoção humana. Uma ideia popular sugere que, se conseguirmos encontrar um padrão específico dentro do cérebro de um computador que corresponda a um sentimento como a empatia, deveremos ser capazes de girar um botão para fazer a máquina expressar mais desse sentimento. Este conceito baseia-se na crença de que, se um computador puder ser "lido" para mostrar que possui um determinado traço, também poderá ser "guiado" para alterar esse traço à vontade. Isto é particularmente importante à medida que estes sistemas estão a ser implementados para oferecer apoio emocional a pessoas em sofrimento, onde a diferença entre uma resposta útil e uma fria pode ser significativa. No entanto, a suposição de que detetar um sentimento dentro de uma máquina é o mesmo que ser capaz de o controlar de forma fiável nunca foi rigorosamente testada no contexto complexo e real da empatia.
Um novo estudo da Universidade do Sul da Califórnia desafia esta suposição ao examinar três modelos de linguagem de grande escala diferentes, que são os poderosos sistemas de IA por trás de muitos chatbots modernos. Os investigadores concentrar-seam em duas partes distintas da empatia que os psicólogos reconhecem há muito tempo: a capacidade de compreender a perspetiva de outra pessoa, conhecida como empatia cognitiva, e a capacidade de partilhar ou ressoar com os seus sentimentos, conhecida como empatia afetiva. A equipa confirmou primeiro que conseguia, de facto, detetar sinais para ambos os traços no funcionamento interno dos modelos de IA. Encontraram direções específicas nos dados do computador que separavam claramente as respostas que mostravam alta empatia daquelas que mostravam baixa empatia. Esta deteção funcionou bem, sugerindo que os modelos possuem representações internas destes conceitos.
O teste crítico, no entanto, era saber se adicionar um pequeno impulso na direção destes sinais detetados alteraria de facto o comportamento da IA de uma forma significativa. Os investigadores aplicaram estes impulsos, tentando efetivamente conduzir os modelos para serem mais empáticos, e mediram os resultados utilizando múltiplos juízes automatizados e um classificador especializado. Os resultados revelaram uma divisão acentuada entre os dois tipos de empatia. Quando a equipa tentou aumentar a ressonância afetiva, ou emocional, observaram uma mudança mensurável, mas esta foi apenas parcial. No modelo com melhor desempenho, a intervenção aumentou a pontuação de empatia em cerca de um quarto da lacuna natural entre uma resposta neutra e uma totalmente empática. A IA não se tornou totalmente empática; simplesmente deslocou-se ligeiramente nessa direção. Nos outros modelos testados, o efeito foi ainda menor, por vezes quase impercetível.
A história foi diferente para a empatia cognitiva, a capacidade de compreender e articular a situação de outra pessoa. Aqui, os investigadores descobriram que, independentemente de como tentassem guiar os modelos, as pontuações automatizadas não mudavam. No entanto, o estudo oferece uma nuance crucial: esta falta de mudança não significava necessariamente que a IA não pudesse ser tornada mais empática. As ferramentas utilizadas para medir a empatia cognitiva revelaram ser demasiado rudimentares para detetar as subtis diferenças que a intervenção poderia ter criado. Os instrumentos de medição conseguiam distinguir uma mensagem completamente neutra de uma altamente emocional, mas não conseguiam distinguir de forma fiável dois diferentes níveis de compreensão dentro do âmbito do apoio emocional. Como a própria ferramenta de medição não era suficientemente sensível, os investigadores concluíram que o efeito da orientação era imensurável, em vez de provado ser zero.
Talvez o mais significativo seja que o estudo descobriu que, mesmo quando as pontuações automatizadas mudavam, não havia evidência de que os leitores humanos perceberiam a mudança. Um painel de voluntários humanos foi solicitado a julgar as respostas guiadas, mas não conseguiram identificar consistentemente quais as respostas que eram mais empáticas. Isto sugere que as mudanças que a IA fez não foram o tipo de mudanças que um humano notaria ou valorizaria. Os investigadores também testaram se remover estes sinais de empatia inteiramente tornaria a IA menos empática. Num modelo específico, remover o sinal de compreensão cognitiva baixou as pontuações, mas este efeito estava ligado ao facto de a IA escrever respostas mais curtas, algo que a ferramenta de medição acabou por penalizar. Quando os investigadores contabilizaram o comprimento do texto, o efeito na pontuação cognitiva permaneceu, mas ainda assim não foi uma mudança limpa e fiável que pudesse ser usada para controlar o comportamento da IA.
Em última análise, o estudo demonstra que encontrar um sinal de empatia dentro de uma IA não é o mesmo que ter um controlo fiável para a produzir. Embora os modelos possam ser induzidos a mostrar um pouco mais de ressonância emocional, o efeito é limitado e não se traduz numa melhoria percebida pelos humanos. A capacidade de detetar um traço não garante a capacidade de o guiar, especialmente quando as ferramentas utilizadas para medir o resultado não são suficientemente refinadas para ver as mudanças. Esta descoberta serve de cautela para aqueles que esperam implementar a IA para apoio emocional, indicando que simplesmente aumentar um "botão" de empatia pode não produzir a ligação genuína e humana que é necessária. A investigação destaca a lacuna entre o que uma máquina pode ser feita para dizer e o que um humano realmente experiencia como empatia, instando a uma abordagem mais cuidadosa sobre como medimos e controlamos estes comportamentos complexos.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.