Allocating cognitive work across people, language models and deterministic tools: A task-analytic method
Este artigo propõe um método de análise de tarefas para alocar o trabalho cognitivo entre pessoas, modelos de linguagem e ferramentas determinísticas dentro de uma estrutura de observar-orientar-decidir-agir, demonstrando, por meio de experimentos sintéticos de tanque-junta, que esta abordagem em camadas melhora significativamente a precisão e a eficiência das decisões, ao mesmo tempo em que reserva as escolhas normativas para supervisores humanos.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No ambiente de trabalho moderno, um novo tipo de trabalhador chegou: o agente de inteligência artificial. Estes são programas de computador capazes de ler instruções, pesquisar informações, escrever código e redigir documentos, muitas vezes fazendo isso mais rápido do que um humano consegue ler o seu resultado. À medida que estes agentes se tornam mais capazes, um único supervisor humano é frequentemente solicitado a supervisionar uma equipa crescente de agentes. O problema não é que as máquinas sejam lentas, mas sim que são demasiado rápidas. Se um supervisor tentar ler cada mensagem, verificar cada cálculo e aprovar cada rascunho, ficará sobrecarregado. Este fenómeno, conhecido na engenharia como a "lei dos sistemas esticados", sugere que, à medida que as máquinas ficam mais rápidas, simplesmente delegamos mais trabalho a elas, acabando por inundar o humano com tantos dados que este perde o rasto do que está a acontecer. O resultado é uma perda de consciência; o supervisor deixa de saber quando intervir porque está enterrado sob uma montanha de texto.
Para resolver isto, os investigadores estão a explorar como dividir o trabalho não apenas entre pessoas e máquinas, mas entre diferentes tipos de máquinas e pessoas. Algumas tarefas são simples e certas, como calcular uma trajetória de voo, que um programa de computador padrão pode fazer perfeitamente. Outras são complexas e exigem compreensão de contexto, como interpretar uma instrução de rádio vaga, o que pode exigir um modelo de linguagem mais avançado. O desafio é decidir qual ferramenta lida com cada parte do trabalho e, crucialmente, saber quando parar e pedir ajuda a um humano. Se o sistema for demasiado rígido, falha quando as coisas se complicam. Se for demasiado frouxo, o supervisor humano fica submerso em detalhes. O objetivo é criar uma equipa onde a ferramenta certa faz o trabalho certo, e o humano permanece no ciclo apenas quando necessário, mantendo a sua atenção focada no quadro geral.
Esta é a questão central que Simon Vajda, um investigador da Universidade de Deakin, se propôs a responder. Ele desenvolveu um método para atribuir cuidadosamente decisões específicas ao nível correto da equipa: uma ferramenta de computador simples, um modelo de linguagem pequeno, um modelo de raciocínio poderoso ou um supervisor humano. O método trata cada tarefa como um ciclo de observar a situação, compreendê-la, tomar uma decisão e agir. Ao decompor um trabalho complexo nestes pequenos passos, o investigador pôde analisar cada um deles para ver quão formal a decisão precisava de ser. Se uma decisão pudesse ser escrita como uma regra estrita, era enviada para uma ferramenta de computador. Se exigisse a compreensão de linguagem natural, mas fosse ainda rotineira, era enviada para um modelo de linguagem pequeno. Se a situação fosse complicada e exigisse um raciocínio profundo, um modelo maior e mais poderoso assumia o comando. No entanto, se uma decisão envolvesse um julgamento de valor — decidir o que deve ser feito em vez de apenas o que é — era reservada para um humano.
O sistema inclui um mecanismo de segurança chamado "abstenção". Se um nível de máquina estiver incerto, ou se a tarefa for demasiado difícil para as suas capacidades específicas, ela não força uma resposta. Em vez disso, recusa educadamente e passa a decisão para o nível seguinte, mais capaz. Se o modelo mais poderoso ainda estiver incerto, a decisão chega finalmente a um humano. Isto garante que os erros sejam detetados antes de acontecerem. Além disso, quando um humano toma um julgamento difícil, o sistema pode guardar essa escolha como uma política. Se a mesma situação exata surgir novamente, o sistema pode recordar a decisão anterior do humano e aplicá-la automaticamente, reduzindo a necessidade de o humano intervir repetidamente.
Para testar esta abordagem, o investigador criou um cenário simulado envolvendo um exercício de treino de piloto, onde um estagiário deve voar uma aeronave simulada para encontrar um avião cisterna para reabastecimento. Neste ambiente, o sistema teve de lidar com várias tarefas, tais como calcular o rumo de voo correto, interpretar comandos de rádio e decidir se deveria desviar-se de um plano para fins de treino. O estudo comparou este novo sistema alocado contra duas outras abordagens: uma onde um único modelo poderoso tentava fazer todo o trabalho sozinho, e outra onde um roteador simplesmente enviava perguntas para diferentes modelos baseando-se numa suposição de qual seria o mais barato.
Os resultados mostraram que o sistema alocado era significamente mais preciso. Nas simulações, tomou a decisão correta em quase 90 por cento dos casos em que era necessária uma resposta factual. Em contraste, o modelo único e poderoso, quando recebeu toda a tarefa de uma só vez, foi correto apenas cerca de 67 por cento das vezes. O sistema alocado também utilizou muito menos recursos. Processou cerca de um terço do texto de entrada e um oitavo do texto de saída em comparação com o modelo único a tentar fazer tudo. Esta eficiência deveu-se ao facto de não desperdiçar o tempo do modelo poderoso em tarefas simples que este poderia facilmente gerir, e de os modelos menores passarem rapidamente as questões difíceis para o nível superior em vez de tentarem adivinhar.
O estudo também descobriu que o sistema filtrava eficazmente os erros. Quando os modelos pequenos encontravam uma resposta errada, retinham-na 97 por cento das vezes, passando-a para o modelo de raciocínio. O modelo de raciocínio, por sua vez, reteve as suas próprias candidaturas erradas 93 por cento das vezes. Esta camada atuou como um filtro de alta qualidade. No entanto, o sistema não era perfeito. Num caso específico envolvendo um exercício de planeamento de interferência de rádio, o sistema falhou ao não reconhecer que uma decisão sobre o design do treino deveria ter sido reservada para um humano, realçando que as regras para a atribuição de trabalho devem ser cuidadosamente elaboradas. Adicionalmente, embora o sistema tenha reduzido o número de vezes que um humano tinha de tomar uma decisão ao aprender com escolhas passadas, o estudo não testou como isto seria sentido por um supervisor humano real em termos de stress ou consciência.
Em última análise, a investigação demonstra que decompor um trabalho complexo em pequenos passos analisados e atribuir cada passo à ferramenta mais apropriada pode tornar as equipas humano-IA mais precisas e eficientes. Sugere que o futuro da supervisão não é ler cada palavra que uma IA escreve, mas sim desenhar um sistema onde a IA conheça os seus limites, peça ajuda quando necessário e aprenda com a orientação humana para lidar com situações rotineiras por conta própria. Embora os resultados computacionais sejam promissores, os investigadores observam que o verdadeiro teste permanece: como é que este sistema afeta a capacidade do supervisor humano de manter a consciência e o controlo quando o trabalho é real e as apostas são elevadas.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.