Os seres humanos estão constantemente transmitindo suas vidas interiores através de movimentos minúsculos, quase invisíveis. Uma mão que se agita, uma cabeça que se inclina apenas uma fração de polegada ou uma perna que balança com um ritmo sutil — estes são microações. Diferente dos gestos amplos e deliberados que usamos para acenar um olá ou apontar para uma placa, esses pequenos movimentos acontecem com pouco pensamento consciente. No entanto, eles transmitem de forma confiável informações sobre o estado emocional e a condição psicológica de uma pessoa. Durante décadas, cientistas tentaram ensinar computadores a ver esses sinais fugazes, tratando-os como um quebra-cabeça difícil na análise de vídeo. O desafio reside em sua sutileza; eles são breves, de baixa amplitude e facilmente confundidos uns com os outros. Uma inclinação de cabeça pode parecer um giro de cabeça; um toque pode se assemelhar a um coçar. Até recentemente, a melhor maneira de resolver isso era construir programas de computador especializados treinados em milhares de exemplos, um processo que exigia vastas quantidades de dados e poder computacional.

Uma equipe de pesquisadores da Universidade de Wuhan abordou agora este problema com uma estratégia diferente, uma que se baseia em ferramentas de inteligência artificial existentes e poderosas, em vez de construir novas do zero. Em uma competição recente focada na compreensão dessas microações, eles conquistaram o primeiro lugar sem treinar seu sistema com quaisquer novos dados. Em vez de ensinar a um computador o que uma microação parece, eles pediram a um modelo de linguagem sofisticado para descrever o que vê e explicar por que vê. O sucesso deles revela uma verdade surpreendente sobre como esses modelos funcionam: a melhor maneira de fazer um computador entender um movimento sutil não é pedir que ele adivinhe a resposta, mas sim pedir que ele descreva os detalhes primeiro, e então deixar que esses detalhes guiem a conclusão final.

Os pesquisadores participaram de um desafio chamado Micro-Action Analysis Grand Challenge, onde o objetivo era analisar milhares de clipes de vídeo curtos de pessoas realizando esses movimentos sutis. A tarefa foi dividida em várias partes. Algumas partes exigiam que o computador escolhesse a categoria correta de uma lista, como decidir se um movimento era uma interação "cabeça-mão" ou uma interação "perna-mão". Outras partes eram mais abertas, pedindo ao computador para descrever exatamente quais partes do corpo se moveram, como se moveram e por que um rótulo específico era a escolha certa. As regras da competição eram estritas: as equipes não podiam treinar seus modelos com os dados da competição, nem podiam usar as respostas corretas para ensinar o sistema. Eles tinham que usar os modelos exatamente como eram, guiando-os apenas com instruções escritas.

A equipe percebeu que um único modelo de inteligência artificial não era a ferramenta certa para cada parte do trabalho. Alguns modelos são excelentes em fazer escolhas rápidas e precisas, como escolher a letra certa de uma lista de múltipla escolha. Outros são melhores em escrever descrições detalhadas e fluidas do que está acontecendo em uma cena. Os pesquisadores construíram um sistema que atua como um maestro, roteando cada pergunta específica para o modelo mais adequado para respondê-la. Quando a tarefa era identificar uma categoria ou fazer um julgamento simples de sim ou não, eles enviavam o vídeo para um modelo conhecido por suas fortes habilidades de tomada de decisão. Quando a tarefa era escrever uma descrição ou explicar o raciocínio por trás de uma escolha, eles enviavam o vídeo para um modelo conhecido por sua habilidade de gerar texto fluente e coerente.

Essa divisão de tarefas resolveu um grande problema. Frequentemente, um modelo que é bom em descrever uma cena descreverá confiantemente a ação errada porque se perde nos detalhes. Por outro lado, um modelo que é bom em escolher um rótulo pode dar uma explicação muito breve e pouco útil. Ao separar as tarefas, a equipe garantiu que o modelo que escrevia a descrição não fosse distraído pela pressão de adivinhar o rótulo final. No entanto, eles foram além. Eles descobriram que, mesmo com a melhor descrição, o modelo ainda poderia cometer um erro no rótulo final se não estivesse ancorado aos fatos corretos. Para corrigir isso, introduziram um método que chamaram de raciocínio condicionado pelo reconhecimento.

Nesta abordagem, o sistema primeiro pede ao modelo de decisão para prever a categoria correta. Ele então pega essa previsão e a alimenta diretamente no prompt para o modelo descritivo. O modelo descritivo é então solicitado a escrever sua explicação, mas deve fazê-lo mantendo em mente aquela categoria prevista. É como se o sistema estivesse dizendo: "Com base no que você vê, explique por que este movimento é uma inclinação de cabeça, e certifique-se de que sua descrição suporte essa conclusão". Esse simples passo de dar ao modelo descritivo uma dica sobre a resposta melhorou dramaticamente a precisão do resultado final. O modelo descritivo não apenas escreveu uma história melhor; ele escreveu uma história que era factualmente consistente com o rótulo correto.

Os resultados desta abordagem foram impressionantes. Na competição final, o sistema da equipe pontuou significativamente mais alto do que qualquer outra entrada, particularmente nas seções de questões abertas, onde o computador tinha que descrever e raciocinar sobre os movimentos. Enquanto outras equipes lutavam para escrever explicações que fossem ao mesmo tempo fluentes e precisas, este sistema conseguiu produzir descrições que eram fiéis ao conteúdo do vídeo. Os pesquisadores descobriram que a principal razão para os erros não era que os modelos não conseguissem ver o movimento ou não conseguissem escrever bem, mas sim que às vezes adivinhavam o rótulo errado logo no início. Uma vez que o rótulo correto era fornecido como ponto de partida, os modelos eram capazes de construir explicações perfeitas.

Este trabalho sugere que, para tarefas visuais complexas envolvendo o comportamento humano sutil, o futuro pode não residir no treinamento de novos modelos massivos do zero. Em vez disso, a chave pode estar em como organizamos e direcionamos as ferramentas poderosas que já possuímos. Ao combinar cuidadosamente o tipo certo de inteligência artificial ao tipo certo de pergunta, e ao deixar que os modelos verifiquem o trabalho uns dos outros, é possível alcançar um nível de compreensão que rivaliza com sistemas especializados. Os pesquisadores demonstraram que um sistema construído inteiramente a partir de modelos pré-existentes e congelados pode superar aqueles que foram treinados especificamente para a tarefa, provando que uma orquestração inteligente é tão poderosa quanto um treinamento pesado.

O estudo também introduziu uma nova maneira de medir o sucesso que evitava os vieses de juízes automatizados. Frequentemente, modelos de linguagem usados para avaliar respostas são tendenciosos para a fluência, recompensando uma frase bem escrita mesmo que os fatos estejam errados. Os pesquisadores desenvolveram um método para verificar se a explicação realmente mencionava a categoria correta, independentemente de quão belamente estava escrita. Essa verificação "livre de juiz" confirmou que o método de guiar os modelos com um rótulo previsto era o verdadeiro motor de seu sucesso. Mostrou que o gargalo para entender as microações não é a capacidade de ver ou falar, mas a capacidade de identificar corretamente a ação em primeiro lugar.

Em última análise, esta pesquisa oferece um caminho claro para a compreensão do comportamento humano através de vídeo. Ela mostra que não precisamos reinventar a roda para resolver problemas difíceis. Ao compreender as forças e fraquezas das ferramentas que já possuímos, e ao organizá-las em uma sequência lógica, podemos desbloquear capacidades que antes estavam fora de alcance. A capacidade de ler com precisão os movimentos sutis e involuntários do corpo humano tem implicações profundas para campos que vão desde o rastreamento de saúde mental até a interação humano-computador. Os pesquisadores demonstraram que, com a abordagem certa, a inteligência artificial pode aprender a ver o invisível, não tornando-se mais complexa, mas tornando-se mais pensativa.