Framing, Judging, Steering: An Assessable Competency Model for Teach-ing Students to Reason With Generative AI

Resumo Técnico: CoRe-3 – Um Modelo de Competência Avaliável para Ensinar Estudantes a Raciocinar com IA Generativa

1. O Problema

As avaliações educacionais atuais do uso de IA Generativa (GenAI) são "sub-resolvidas". Os frameworks existentes tipicamente agrupam a especificação da tarefa e o refinamento iterativo em uma única competência de "prompting" ou focam em alfabetização de IA geral (compreensão das mecânicas do sistema) em vez de desempenho. Essa resolução grosseira cria um ponto cego diagnóstico: quando um aluno produz resultados ruins com a IA, uma pontuação única não consegue distinguir entre três modos de falha distintos:

1. Falha de Enquadramento (Framing): O aluno especificou a tarefa de forma deficiente, fazendo com que o modelo resolva o problema errado.
2. Falha de Julgamento (Judging): O aluno falhou em detectar erros factuais ou lógicos em um output plausível.
3. Falha de Direcionamento (Steering): O aluno detectou erros, mas emitiu correções vagas ou ineficazes.

Além disso, o uso acrítico de IA correlaciona-se com o "descarregamento cognitivo" (cognitive offloading) e a "preguiça metacognitiva", onde os alunos ignoram o trabalho cognitivo de diagnosticar e revisar. À medida que os modelos absorvem mais capacidades de execução, o papel humano muda da execução para as operações que os sistemas não podem realizar autonomamente: enquadrar tarefas mal definidas, julgar outputs e direcionar o modelo. As avaliações atuais falham em medir essas habilidades distintas e separáveis.

2. Metodologia

Os autores propõem o CoRe-3 (Co-Reasoning), um modelo de competência que decompõe o uso produtivo de IA em três habilidades cognitivamente e temporalmente distintas: Enquadramento (F), Julgamento (J) e Direcionamento (S).

Fundamentação Teórica:
O modelo é construído sobre uma arquitetura de monitoramento-controle (expandindo Nelson & Narens, 1990), onde o nível meta do aluno supervisiona um nível de objeto externo (a IA).

• Enquadramento (Framing): Uma fase de definição de tarefa pré-geração (aprendizagem autorregulada) que estabelece padrões para a solução.
• Julgamento (Judging): Uma fase de monitoramento onde o aluno avalia o output da IA em relação a padrões internos (vigilância epistêmica).
• Direcionamento (Steering): Uma fase de controle onde o aluno emite feedback corretivo para redirecionar a IA.
  Crucialmente, o CoRe-3 separa a habilidade pré-geração (Enquadramento) da habilidade corretiva pós-geração (Direcionamento), uma distinção que os frameworks anteriores fundem.

Demonstração de Instrumento e Viabilidade:
Os autores instanciaram o CoRe-3 no CoReasoningLab, uma plataforma web de código aberto. Para demonstrar a viabilidade sem depender de validação humana imediata, eles conduziram um experimento controlado usando alunos simulados:

• Design: Um design fatorial cruzado com 80 alunos simulados em 10 disciplinas distintas (ex: algoritmos, química orgânica, direito).
• Manipulação de Competência: A competência de cada aluno em F, J e S foi definida independentemente como "forte" ou "fraca".
• Geração e Graduação: As respostas dos alunos foram geradas por um modelo (gpt-4o-mini) e graduadas por um modelo diferente (gpt-4o) para evitar a autograduação. Três backends de graduação (incluindo llama-3.3-70b) foram usados para testar a robustez.
• Mecanismo de Pontuação:
  • Enquadramento: Avaliado contra um enquadramento padrão-ouro e uma rubrica.
  • Julgamento: Avaliado contra uma verdade fundamental (ground truth) semeada por máquina contendo falhas (medindo recall/precisão).
  • Direcionamento: Avaliado contra a trajetória de melhoria do output ao longo dos ciclos.

3. Principais Contribuições

1. Um Modelo de Competência Decomposto: O CoRe-3 é o primeiro modelo teoricamente fundamentado a separar o uso produtivo de GenAI em três habilidades independentemente avaliáveis (FJS), distinguindo explicitamente o Enquadramento pré-geração do Direcionamento pós-geração.
2. Unificação Teórica: O modelo mapeia essas habilidades para teorias estabelecidas (monitoramento/controle metacognitivo, aprendizagem autorregulada, vigilância epistêmica) sob uma única arquitetura de monitoramento-controle "exo-direcionada".
3. Proposições Testáveis: O artigo propõe cinco hipóteses, incluindo a relação de "portão" (o Enquadramento delimita o loop; o Julgamento delimita o Direcionamento) e a Proposição de Dissociação (P3), que afirma que a proficiência em uma habilidade não implica proficiência em outra.
4. Demonstração de Viabilidade: Os autores fornecem um instrumento e dados mostrando que essas três habilidades podem ser pontuadas automaticamente e que são empiricamente separáveis.
5. Artefato Aberto: O lançamento da plataforma CoReasoningLab, o motor de pontuação (16 prompts), o conjunto de dados e um protocolo para validação por avaliadores humanos.

4. Resultados

A demonstração de viabilidade gerou evidências que apoiam a Proposição de Dissociação (P3) e a validade do instrumento:

• Discriminação: As notas moveram-se monotonicamente com a competência manipulada. Quando uma habilidade específica era definida como "forte", a nota para essa habilidade aumentava significamente, enquanto as notas para outras habilidades permaneciam estáveis.
• Dissociação: Os efeitos da "própria habilidade" foram fortes e estatisticamente significativos (Enquadramento: +0,62; Direcionamento: +0,43 em uma escala de 3 pontos), enquanto os efeitos de "habilidade cruzada" foram próximos de zero (média de +0,01). Isso indica que o graduador distingue entre as habilidades em vez de depender de um único fator geral de "capacidade de IA".
• Validade Convergente e Discriminante:
  • Convergente: A mesma habilidade graduada por diferentes backends de modelos mostrou alta concordância (correlação de rank média de +0,57 para Enquadramento, +0,67 para Julgamento).
  • Discriminante: Diferentes habilidades graduadas pelo mesmo backend mostraram correlação próxima de zero.
  • Sensibilidade da População: Quando os alunos simulados tinham níveis de competência compartilhados (todos fortes ou todos fracos), o instrumento relatou corretamente correlações positivas. Quando as competências eram independentes, relatou correlações próximas de zero, provando que o instrumento não fabrica artificialmente a dissociação.
• Relação de Portão (Gating): A correlação entre Julgamento e Direcionamento foi positiva (+0,25), consistente com a Proposição P2 (o Julgamento atua como um teto para o Direcionamento), enquanto Enquadramento e Julgamento não apresentaram correlação, demonstrando sua independência.

5. Significância e Alegações

O artigo afirma que o CoRe-3 oferece um framework de diagnóstico que vai além de medir o "acesso à IA" ou a "fluência em prompting" para medir as operações cognitivas específicas necessárias para a colaboração produtiva humano-IA.

• Modéstia das Alegações: Os autores declaram explicitamente que esta é uma demonstração de viabilidade, não um estudo completo de eficácia. Os resultados provam que os construtos são separáveis e que o instrumento automatizado pode detectá-los.
• Limitações: O estudo utiliza alunos simulados e outputs graduados por máquina; a concordância com especialistas humanos e o impacto nos resultados de aprendizagem reais (eficácia da aprendizagem) são reservados para futuros estudos de validação (Seção 9.3).
• Argumento Central: A significância reside na separação em si. Ao desacoplar o Enquadramento, o Julgamento e o Direcionamento, educadores podem identificar exatamente onde o processo de um aluno falha (ex: "o aluno enquadrou bem a tarefa, mas falhou em julgar o output") e fornecer instrução direcionada. À medida que os modelos de IA melhoram e absorvem mais a execução, a "habilidade humana avaliável" desloca-se inteiramente para essas três operações, tornando o CoRe-3 um framework duradouro para o futuro da educação.