A Deep Investigation Using Factorial Analysis and Rasch Model: An Optimized Short-Version of the Computational Thinking Scale (COTS)

Resumo Técnico: Uma Versão Otimizada e Curta da Escala de Pensamento Computacional (COTS)

Definição do Problema
O pensamento computacional (PC) é reconhecido como uma competência fundamental do século XXI, essencial para a resolução sistemática de problemas em diversas disciplinas. Apesar de sua crescente importância na educação, o campo carece de instrumentos psicometricamente robustos especificamente desenhados para avaliar habilidades de PC, particularmente em contextos não relacionados à TIC, como as ciências sociais. As ferramentas existentes frequentemente dependem de questionários de múltipla escolha que podem não considerar adequadamente as diferenças culturais ou possuir validade e confiabilidade suficientes. Essa lacuna limita a capacidade de pesquisadores e educadores de diagnosticar com precisão os pontos fortes e fracos dos alunos, dificultando, assim, o design de intervenções educacionais eficazes. O estudo aborda a necessidade de uma ferramenta de medição de alta qualidade e validada, fundamentada em uma análise psicométrica rigorosa.

Metodologia
O estudo empregou um processo de validação sequencial de dois estágios para desenvolver e refinar um instrumento de Habilidades de Pensamento Computacional (COTS), originalmente adaptado de uma escala de 22 itens.

• Participantes e Coleta de Dados: Os dados foram coletados anonimamente de estudantes de graduação em Makassar, Indonésia. O processo envolveu duas amostras distintas: 364 participantes para a Análise Fatorial Confirmatória (CFA) inicial e 434 participantes para a subsequente análise do modelo de Rasch.
• Estágio 1: Análise Fatorial Confirmatória (CFA): Utilizando o software JASP, os pesquisadores avaliaram a validade fatorial do instrumento de 22 itens. A análise focou nos carregamentos fatoriais (exigindo >0,50), índices de ajuste do modelo (CFI, GFI, TLI, NNFI, IFI, RNI >0,90; RMSEA e SRMR <0,08) e consistência interna de confiabilidade (McDonald's ω e Cronbach's α >0,80 para a escala total). Os itens que não atenderam a esses critérios foram removidos.
• Estágio 2: Modelo de Escala de Classificação de Rasch (RSM): O instrumento refinado foi analisado utilizando o software J.Metrik. Este estágio avaliou pressupostos fundamentais de medição, incluindo:
  • Unidimensionalidade: Verificada via Análise de Componentes Principais (PCA) de resíduos (autovalor do primeiro contraste <3,0).
  • Independência Local: Avaliada através de correlações residuais entre pares de itens (limiar <0,40).
  • Funcionamento da Escala de Classificação: Examinado quanto aos padrões monotonicamente crescentes em medidas médias e parâmetros de limiar ordenados.
  • Ajuste do Modelo: Avaliado por meio de estatísticas de Infit e Outfit Mean Square (intervalo aceitável de 0,5–1,5).
  • Confiabilidade e Separação: Calculadas tanto para itens quanto para pessoas para determinar a precisão da medição e a capacidade de distinguir entre diferentes níveis de habilidade.
  • Dificuldade do Item: Analisada para determinar a distribuição dos itens ao longo do contínuo do traço latente.

Principais Resultados

• Refinamento do Instrumento: O estágio de CFA resultou na remoção de dois itens da dimensão "abstração" devido a carregamentos fatoriais abaixo de 0,50. O instrumento final consiste em 20 itens distribuídos em quatro dimensões: Abstração (3 itens), Decomposição (6 itens), Pensamento Algorítmico (6 itens) e Generalização/Reconhecimento de Padrões (5 itens).
• Resultados da CFA: O modelo final demonstrou um excelente ajuste. Todos os índices de ajuste excederam 0,90 (ex: CFI = 0,922, TLI = 0,908), e os índices de erro ficaram abaixo de 0,06 (RMSEA = 0,057, SRMR = 0,046). Os carregamentos fatoriais variaram de 0,52 a 0,75. A confiabilidade geral foi de 0,89, com confiabilidades de subescala variando de 0,62 a 0,85.
• Resultados de Rasch:
  • Pressupostos: O instrumento satisfez a unidimensionalidade (autovalor do primeiro contraste = 2,54) e a independência local (correlação residual máxima = 0,40).
  • Ajuste do Modelo: Todos os 20 itens situaram-se dentro do intervalo aceitável de Infit/Outfit (0,5–1,5), e a escala de classificação funcionou de forma otimizada com limiares monotonicamente crescentes.
  • Confiabilidade: A confiabilidade do item foi excelente (0,97–0,98), e a confiabilidade da pessoa foi boa (0,87–0,88). Os índices de separação indicaram que o instrumento pode distinguir aproximadamente 9,89 estratos de dificuldade de item e 3,80 estratos de habilidade de pessoa.
  • Dificuldade do Item: A amplitude de dificuldade variou de −0,79 a 0,82 logits. A distribuição indica que o instrumento é mais eficaz para avaliar indivíduos com níveis moderados de habilidades de PC.

Significância e Alegações
O artigo afirma fornecer um instrumento de versão curta (COTS) psicometricamente sólido para avaliar o pensamento computacional entre estudantes universitários. Ao integrar a CFA e a modelagem de Rasch, o estudo oferece uma validação abrangente que aborda tanto a validade estrutural quanto as propriedades de medição ao nível do item.

Os autores afirmam que o COTS é uma ferramenta válida e confiável para contextos educacionais, capaz de identificar pontos fortes e fracos dos alunos para informar intervenções direcionadas e o design curricular. No entanto, o estudo reconhece modestamente uma limitação: o instrumento é direcionado principalmente a indivíduos com habilidades de PC moderadas. Devido ao agrupamento da dificuldade dos itens na faixa de baixa a moderada, a ferramenta possui precisão limitada para diferenciar indivíduos com habilidades de PC avançadas ou de alto nível. Consequentemente, o artigo conclui que, embora o instrumento atual seja robusto para avaliação geral, o desenvolvimento futuro deve focar na criação de itens mais desafiadores para melhorar a cobertura no limite superior do espectro de habilidade.