Using profiles of cognitive capability to assess AI suitability for workplace tasks

No ambiente de trabalho moderno, uma questão silenciosa, mas urgente, está remodelando a forma como as organizações pensam sobre o seu futuro: quais empregos podem ser entregues com segurança à inteligência artificial e quais devem permanecer nas mãos humanas? Durante anos, a resposta foi elusiva. As empresas frequentemente dependem de pontuações agregadas amplas para julgar a inteligência de uma máquina, tal como um diretor de escola poderia julgar o ano inteiro de um aluno com base em uma única nota de exame final. Essas pontuações oferecem um instantâneo do desempenho geral, mas raramente explicam por que um sistema tem sucesso ou falha, nem preveem como ele lidará com a complexidade desordenada e imprevisível do trabalho do mundo real. Quando uma máquina falha em um teste controlado, é frequentemente um mistério; quando falha em um escritório ou fábrica real, as consequências podem ser dispendiosas e perigosas. O desafio central é que a inteligência artificial não pensa como um humano. Seus pontos fortes e fracos são irregulares e desiguais; ela pode possuir uma vasta biblioteca de fatos, mas ter dificuldade com a lógica simples de planejar uma sequência de eventos. Para implantar esses sistemas com segurança, os líderes precisam de uma maneira de mapear as demandas cognitivas específicas de um trabalho contra as capacidades cognitivas específicas de uma máquina, indo além do palpite para uma avaliação clara e baseada em evidências.

Um novo relatório técnico de pesquisadores da Universidade de Cambridge e de outras instituições oferece uma solução para este problema. Em vez de perguntar se uma máquina pode realizar uma tarefa específica, a equipe desenvolveu um pipeline para perfilar as habilidades mentais subjacentes necessárias para essa tarefa e compará-las diretamente com as capacidades da máquina. Eles começaram decompondo o complexo mundo dos testes de inteligência artificial em dezoito habilidades cognitivas centrais, como memória, raciocínio, planejamento e compreensão social. Usando uma coleção massiva de questões de testes existentes, eles as anotaram para determinar exatamente qual dessas habilidades mentais cada uma exigia e qual era o seu nível de dificuldade. Isso criou um "mapa de demanda" detalhado dos testes. Eles então usaram esse mapa para inferir o verdadeiro perfil cognitivo de seis sistemas de IA diferentes, não apenas olhando para suas pontuações finais, mas analisando como eles se saíram em diferentes tipos de desafios mentais. O resultado foi um perfil para cada máquina que mostrava exatamente onde suas habilidades eram fortes e onde eram frágeis, revelando que, embora os sistemas variassem em potência geral, eles compartilhavam uma forma de pontos fortes e fracos notavelmente semelhante.

Para tornar esses perfis úteis para decisões do mundo real, os pesquisadores precisavam saber o que os trabalhadores humanos realmente precisam para realizar seus trabalhos. Eles entrevistaram 410 funcionários de seis campos ocupacionais diferentes, variando desde logística de armazém e manufatura até atendimento ao cliente e análise de dados. Em vez de pedir a esses trabalhadores que previssem o quão bem uma máquina se sairia, os pesquisadores pediram que identificassem as habilidades mentais mais críticas necessárias para suas tarefas diárias. Os funcionários classificaram a importância de habilidades como resolução de problemas, planejamento e comunicação para seus cargos específicos. Esse processo revelou um "núcleo cognitivo" comum a quase todos os empregos: uma forte dependência de memória, linguagem e da capacidade de planejar antecipadamente. Embora diferentes empregos enfatizassem diferentes habilidades secundárias — como raciocínio espacial para trabalhadores de armazém ou compreensão social para pessoal de vendas — a maquinaria mental fundamental necessária para o trabalho era surpreendentemente consistente em todos os casos.

Quando os pesquisadores sobrepuseram os perfis de IA aos requisitos do trabalho, um quadro claro de adequação emergiu. O estudo descobriu que os sistemas de IA mais avançados eram mais adequados para tarefas que dependiam fortemente de linguagem, conhecimento factual e interação social, áreas onde as máquinas atuais se destacam. No entanto, eles falharam consistentemente em tarefas que exigiam planejamento complexo, raciocínio sobre objetos físicos ou compreensão de causa e efeito em ambientes dinâmicos. Crucialmente, os pesquisadores descobriram que as diferenças entre os vários modelos de IA eram muito menores do que as diferenças entre os diferentes tipos de habilidades cognitivas. Em outras palavras, um sistema de IA não era radicalmente diferente de outro em sua "personalidade" geral; em vez disso, todos eram fortes em algumas áreas e fracos em outras. Os sistemas mais capazes mostraram apenas melhorias modestas em planejamento e controle em comparação com seus pares, sugerindo que, embora as máquinas estejam ficando melhores em organizar informações, elas ainda estão longe de dominar o tipo de comportamento flexível e direcionado a objetivos que os humanos consideram naturais.

A estrutura também forneceu uma maneira de calcular uma "pontuação de adequação" para qualquer tarefa específica, permitindo que as organizações vejam quais tarefas estão prontas para a automação e quais não estão. Ao combinar o perfil de capacidade da máquina com a importância da tarefa para o negócio, o sistema poderia destacar oportunidades de alta prioridade onde a IA seria tanto eficaz quanto valiosa. Por exemplo, tarefas como análise de dados e pesquisa administrativa emergiram como fortes candidatas à automação, enquanto funções que exigem um profundo rapport interpessoal ou raciocínio físico complexo permaneceram firmemente no domínio humano. Os pesquisadores testaram essa abordagem em uma única empresa, mostrando como o mesmo método poderia ser adaptado às necessidades únicas de uma organização específica, passando de tendências amplas da indústria para os deveres específicos de funcionários individuais.

O estudo argumenta explicitamente contra a ideia de que uma única pontuação de teste alta é suficiente para garantir a confiabilidade de uma máquina no local de trabalho. Ele demonstra que um sistema com uma pontuação média alta ainda pode falhar catastroficamente se carecer de uma habilidade específica e oculta necessária para um determinado trabalho. Os pesquisadores também alertam que suas descobertas baseiam-se na geração atual de modelos de IA e nos testes específicos disponíveis hoje. À medida que novas máquinas são construídas e novos testes são desenvolvidos, os perfis precisarão ser atualizados. No entanto, o método em si permanece robusto. Ao separar a medição do que uma máquina pode fazer da medição do que um trabalho exige, a estrutura fornece uma linguagem científica estável para discutir o futuro do trabalho. Ela sugere que o caminho a seguir não é encontrar uma máquina que possa fazer tudo, mas sim combinar cuidadosamente as capacidades específicas e desiguais de nossas ferramentas atuais com as demandas específicas e desiguais do trabalho humano, garantindo que a automação seja implantada onde ela terá verdadeiro sucesso.