Different representation learning objectives recover distinct latent structures from the same psychometric data

Nos cantos silenciosos de uma sala de aula, a experiência diária de um professor e o comportamento de uma criança estão profundamente entrelaçados. Sabemos que o senso de bem-estar de um professor, sua confiança em suas habilidades e o clima emocional que ele cria podem moldar como as crianças agem e aprendem. Por décadas, cientistas estudaram essa conexão pedindo a professores e crianças que preenchessem longas listas de perguntas sobre seus sentimentos e ações. Tradicionalmente, os pesquisadores pegavam essas centenas de respostas individuais, somavam-nas em alguns escores de resumo e, então, procuravam padrões entre esses escores. Esse método funciona, mas assume que a história mais importante está escondida nas médias. Ele trata a realidade detalhada e caótica de uma única pergunta sobre o humor de uma criança ou o estresse de um professor como menos importante do que o número final que ela ajuda a criar.

Recentemente, uma nova abordagem surgiu no estudo do comportamento humano, uma que utiliza sistemas computacionais poderosos para olhar diretamente para as respostas individuais brutas. Esses sistemas, frequentemente chamados de aprendizado de representação, tentam encontrar padrões ocultos em dados de alta dimensão sem serem instruídos sobre o que procurar primeiro. Eles podem pegar milhares de detalhes específicos e comprimi-los em um mapa mais simples onde coisas semelhantes ficam próximas umas das outras. Uma questão natural surge para os cientistas que usam essas ferramentas: se você alimentar o mesmo conjunto de respostas de questionários em diferentes sistemas de computador, eles encontrarão o mesmo mapa oculto? Ou o objetivo específico do computador muda o mapa que ele desenha? Essa questão é importante porque, se o objetivo do computador mudar o mapa, então a "verdade" que encontramos nos dados pode depender mais da ferramenta que usamos do que das pessoas que estamos estudando.

Uma equipe de pesquisadores partiu para responder a essa questão usando dados de um grande estudo pré-escolar em Chipre. Eles tiveram acesso a 757 pares combinados de professores e crianças, onde cada professor havia preenchido 139 perguntas sobre seu próprio bem-estar e trabalho, e cada criança havia sido avaliada em 82 perguntas sobre seu comportamento. Os pesquisadores queriam ver se poderiam usar esses questionários vinculados para construir um mapa compartilhado onde um professor e sua criança específica apareceriam próximos um do outro. Ao mesmo tempo, eles queriam ver se esse mapa também agruparia naturalmente crianças com perfis comportamentais semelhantes, como aquelas que são altamente adaptáveis versus aquelas que estão enfrentando dificuldades.

Para começar, os pesquisadores primeiro estabeleceram como era um "mapa comportamental" usando um método padrão e bem compreendido. Eles pegaram as 82 perguntas comportamentais das crianças e usaram uma técnica chamada análise de componentes principais para encontrar os principais padrões. Esse processo revelou quatro grupos distintos de crianças. Um grupo mostrou altos níveis de funcionamento adaptativo, o que significa que lidavam bem com situações sociais. Outro grupo era moderadamente adaptável, um terceiro mostrava alguma vulnerabilidade e um quarto grupo enfrentava altos riscos comportamentais. Esses grupos eram claros e distintos; as crianças no grupo de alto risco pontuavam de forma muito diferente nas escalas de comportamento em comparação ao grupo de alto funcionamento. Isso confirmou que os dados continham uma estrutura forte e natural sobre como as crianças se comportavam.

Em seguida, os pesquisadores tentaram construir um mapa que conectasse professores aos seus respectivos filhos. Eles usaram um método moderno de aprendizado computacional chamado aprendizado contrastivo. Imagine um sistema que é instruído: "Aqui está um professor e aqui está o filho dele; faça as impressões digitais digitais deles parecerem muito semelhantes. Aqui está um professor e uma criança que não se conhecem; faça as impressões digitais deles parecerem muito diferentes". O computador aprendeu a ajustar seu mapa interno para alcançar esse objetivo. Os resultados foram impressionantes. Quando os pesquisadores pediram ao computador para encontrar a criança certa para um determinado professor, ele teve muito mais sucesso do que o método padrão. Com o método padrão, o computador conseguia adivinhar a criança correta apenas 0,13% das vezes. Com o novo método de aprendizado contrastivo, ele acertou a criança certa na primeira tentativa 7,27% das vezes e dentro das dez melhores suposições 56,14% das vezes. Isso provou que o computador poderia aprender com sucesso a conexão única entre um professor específico e seu aluno específico.

No entanto, um problema surpreendente surgiu quando os pesquisadores olharam para os grupos comportamentais das crianças dentro desse novo mapa. Embora o computador fosse excelente em combinar professores com crianças, ele era terrível em agrupar crianças por seu comportamento. Os quatro grupos comportamentais claros encontrados anteriormente quase haviam desaparecido. As crianças que eram altamente adaptáveis estavam espalhadas por todo o mapa, misturadas com aquelas que estavam em alto risco. O computador aprendeu a ver a conexão professor-criança tão bem que essencialmente apagou as diferenças entre os tipos comportamentais das crianças. O mapa foi otimizado para relacionamentos, não para personalidade.

Para testar se este era um compromisso fundamental, os pesquisadores tentaram uma terceira abordagem. Eles construíram um sistema que tinha dois trabalhos ao mesmo tempo: ele deveria combinar professores com crianças e também deveria prever o grupo comportamental da criança. Eles esperavam que isso forçasse o computador a manter ambos os tipos de informação. O resultado foi um compromisso. O sistema tornou-se muito melhor em manter os grupos comportamentais juntos novamente, com os grupos tornando-se distintos e claros. Mas esse avanço veio com um custo. A capacidade do sistema de combinar professores com seus filhos específicos caiu dramaticamente, voltando para níveis semelhantes aos do método padrão.

O estudo conclui que não existe um único mapa perfeito para esses dados. A estrutura oculta que um computador encontra depende inteiramente do que lhe é dito para procurar. Se o objetivo é encontrar o vínculo entre um professor e uma criança, o computador encontra um mapa cheio dessas conexões, mas perde os grupos comportamentais. Se o objetivo é encontrar grupos comportamentais, o computador encontra esses, mas perde as ligações específicas professor-criança. Os pesquisadores sugerem que a correspondência professor-criança e os fenótipos comportamentais são dois tipos diferentes de organização existindo dentro dos mesmos dados. Nenhum é mais "real" do que o outro, mas um único modelo computacional não pode capturar ambos igualmente bem. Esta descoberta serve como um lembrete de que, quando usamos ferramentas avançadas para estudar o comportamento humano, as respostas que obtemos são moldadas pelas perguntas que fazemos à máquina. Os dados não ficam apenas lá parados esperando para serem lidos; eles revelam verdades diferentes dependendo da lente que usamos para visualizá-los.