Assessing Problem-Solving in HR Contexts: A Comparison Between Game-Based and Self-Report Measures

Este estudo demonstra que não há convergência significativa entre as medidas de resolução de problemas baseadas em jogos e as autorrelatadas, sugerindo que essas abordagens fornecem informações complementares e que a integração de ambos os métodos é essencial para uma avaliação mais completa no contexto de recursos humanos.

O essencial

Imagine que você é um recrutador tentando contratar alguém para resolver problemas complexos na sua empresa. Você tem duas ferramentas principais para escolher o candidato:

1. O "Diário de Confissões" (Questionário): Você pede para a pessoa escrever: "Como você lida com problemas? Você se sente confiante? Você é inteligente?". É como se a pessoa dissesse: "Eu sou um ótimo cozinheiro, faço o melhor bolo do mundo!"
2. O "Desafio da Cozinha" (Jogo): Você coloca a pessoa dentro de um jogo de computador de 5 minutos onde ela precisa organizar ingredientes sob pressão de tempo. Aqui, não importa o que ela diz, importa o que ela faz. É como pedir para a pessoa cozinhar o bolo na hora e ver se ela consegue.

O que os pesquisadores fizeram?
Este estudo italiano comparou essas duas ferramentas. Eles pegaram 72 estudantes, pediram que eles preenchessem o "Diário de Confissões" (um teste psicológico chamado PSI-B) e, em seguida, jogassem o "Desafio da Cozinha" (um jogo chamado Behaveme-PS).

O Grande Surpresa (O Resultado)
Os pesquisadores esperavam que as pessoas que se diziam "geniais" no questionário fossem também "geniais" no jogo. Eles achavam que haveria uma linha reta: quem se acha bom, é bom.

Mas o que aconteceu?
Nada! Não houve nenhuma conexão significativa.

• Alguém que disse no questionário: "Sou o melhor solucionador de problemas do mundo!" pode ter jogado de forma desastrada e perdido o jogo.
• Alguém que disse: "Não sou muito bom em resolver problemas" pode ter jogado de forma brilhante, rápida e eficiente.

É como se alguém dissesse: "Sou um piloto de corrida incrível!" (no papel), mas quando colocou o capacete e subiu no carro, não conseguiu nem fazer a curva sem bater. Ou o contrário: alguém que diz "tenho medo de dirigir", mas no teste prático dirige como um profissional.

Por que isso acontece? (A Analogia do "Sonho vs. Realidade")
Os autores explicam que essas duas ferramentas medem coisas diferentes:

• O Questionário mede a "Autoimagem": É o que a pessoa acha que ela é. É baseada na memória, na confiança e na vontade de parecer legal (ninguém quer escrever que é burro no teste de emprego).
• O Jogo mede a "Ação Real": É o que a pessoa faz quando está sob pressão, com tempo limitado e sem poder pensar muito antes de agir. O jogo pega os instintos e a habilidade real, não a teoria.

O que isso significa para o mundo real?
O estudo nos dá um aviso muito importante para empresas e recrutadores:

Não confie apenas em uma das ferramentas.

Se você usar só o questionário, pode contratar alguém que é ótimo em falar, mas ruim em fazer (o "falador"). Se usar só o jogo, pode perder alguém que é muito capaz, mas que é tímido ou não sabe se vender bem.

A Solução Mágica:
A melhor estratégia é usar ambas.
Imagine que você está montando um time de futebol. Você não contrata só olhando a foto do jogador (o questionário) e nem só olhando se ele chuta a bola na parede (o jogo). Você quer ver a foto e assistir ao jogo ao vivo.

Resumo em uma frase:
Este estudo nos ensina que o que as pessoas dizem que são (no papel) e o que elas realmente fazem (na prática) são dois mundos diferentes, e para contratar os melhores, precisamos olhar para os dois lados da moeda.

Resumo técnico

1. Problema e Contexto

O mercado de trabalho atual exige cada vez mais a identificação de candidatos com "soft skills" transversais, sendo a resolução de problemas uma competência crítica. No entanto, os métodos tradicionais de recrutamento (entrevistas, testes cognitivos e questionários de autorrelato) apresentam limitações significativas:

• Viés de Desejabilidade Social: Candidatos podem distorcer respostas em questionários para parecerem mais competentes.
• Validade Ecológica: Questionários medem a percepção de competência (como o indivíduo acredita que age), e não necessariamente o comportamento real em situações dinâmicas e sob pressão.
• Falta de Evidência Comparativa: Embora as Avaliações Baseadas em Jogos (GBAs - Game-Based Assessments) ganhem popularidade por capturar dados comportamentais em tempo real, há uma escassez de estudos empíricos que comparem diretamente os indicadores comportamentais dos jogos com as medidas tradicionais de autorrelato para a mesma competência.

O estudo busca responder: Existe convergência entre a competência percebida (autorrelato) e a competência comportamental (desempenho em jogo) na resolução de problemas?

2. Metodologia

O estudo adotou uma abordagem de comparação de métodos transversal.

• Participantes: Uma amostra final de 72 participantes (estudantes universitários de graduação e pós-graduação em Ciência da Computação da Universidade de Camerino, Itália), com idades entre 18 e 30 anos.
• Instrumentos de Medição:
  1. Inventário de Resolução de Problemas (PSI-B): Uma versão revisada do Problem Solving Inventory. É uma medida de autorrelato que avalia crenças, confiança e estratégias percebidas de resolução de problemas. Os participantes classificaram-se em quatro níveis (Base, Médio, Alto, Muito Alto) baseados em quartis.
  2. Behaveme-PS (GBA): Uma tarefa baseada em jogo desenvolvida pela Emaze Gaming. Os participantes completaram uma sessão de 5 minutos onde reorganizavam elementos sob pressão de tempo. O jogo foi desenhado para avaliar planejamento estratégico, pensamento sequencial e adaptabilidade. O sistema classificou o desempenho comportamental em quatro níveis (Base, Médio, Avançado, Muito Avançado) baseados em métricas objetivas (número de combinações válidas, movimentos totais, tempo médio).
• Procedimento: Os participantes preencheram o PSI-B supervisionado por um psicólogo e, em seguida, realizaram a tarefa no Behaveme-PS. Os dados foram cruzados para analisar a correlação entre os dois métodos.
• Análise Estatística: Utilizou-se correlação de postos de Spearman (devido à natureza ordinal dos dados categorizados) e tabelas de contingência para examinar a distribuição dos desempenhos.

3. Resultados Principais

Os resultados demonstraram uma ausência de convergência significativa entre as duas modalidades de avaliação:

• Correlação: Não houve associação estatisticamente significativa entre os escores do PSI-B (autorrelato) e os níveis de desempenho no Behaveme-PS (comportamental). O coeficiente de correlação de Spearman foi de ρ = -0,09 (p = 0,45), indicando que não há relação monotônica entre como os participantes se percebem e como se comportaram no jogo.
• Discrepância de Distribuição:
  • Participantes classificados como "Muito Altos" no PSI-B (alta autoavaliação) distribuíram-se amplamente por todos os níveis de desempenho no jogo, incluindo níveis básicos e médios.
  • Inversamente, participantes com autoavaliação "Média" ou "Alta" demonstraram frequentemente desempenho comportamental "Avançado" ou "Muito Avançado" no jogo.
  • Houve alta heterogeneidade dentro dos grupos: a autoavaliação não foi um preditor confiável do desempenho real na tarefa dinâmica.

4. Contribuições Chave

• Validação da Distinção Construto-Desempenho: O estudo fornece evidência empírica de que a "competência percebida" e a "competência comportamental" são facetas distintas de um mesmo constructo, e não medidas intercambiáveis do mesmo fenômeno.
• Papel Complementar das GBAs: Os resultados sugerem que as Avaliações Baseadas em Jogos não devem ser vistas como substitutas diretas dos questionários, mas como ferramentas complementares que capturam informações que os autorrelatos não conseguem (comportamento sob pressão, flexibilidade cognitiva real).
• Redução de Viés: Reforça a utilidade das GBAs para mitigar vieses comuns em recrutamento, como a desejabilidade social e a ansiedade de teste, ao focar na execução da tarefa em vez da autoimagem do candidato.

5. Significado e Implicações

• Para a Seleção de Pessoal (RH): A dependência exclusiva de questionários de autorrelato pode levar a decisões de contratação imprecisas (falsos positivos ou falsos negativos). A integração de GBAs em frameworks de avaliação multi-método é recomendada para obter uma visão mais holística e precisa das competências transversais.
• Para a Pesquisa Acadêmica: O estudo desafia a suposição de que diferentes métodos de medição de uma mesma competência devem correlacionar-se fortemente. Sugere que a validade preditiva de novas tecnologias de avaliação (como GBAs) deve ser testada em relação ao comportamento real, e não apenas em relação a medidas de autorrelato existentes.
• Limitações e Futuro: O estudo reconhece limitações na generalização (amostra de estudantes) e na falta de controle de variáveis individuais (como experiência prévia com jogos). Pesquisas futuras devem focar em amostras profissionais diversas e em ambientes de recrutamento reais para validar a validade ecológica das GBAs.

Conclusão Final: O artigo conclui que, embora as autoravaliações ofereçam insights sobre as crenças e atitudes dos candidatos, as Avaliações Baseadas em Jogos capturam a execução comportamental dinâmica. Para uma avaliação robusta de resolução de problemas em contextos de RH, é essencial integrar ambas as abordagens, reconhecendo que elas medem aspectos diferentes, porém relacionados, da competência.