Key Distance Effects in a Controlled Synthetic Rubric-Routing Unit Test for Small Character-Level Transformers

Resumo Técnico: Efeitos de Distância de Chaves em um Teste de Unidade Sintético Controlado de Roteamento de Rubrica

Definição do Problema
Sistemas educacionais automatizados dependem cada vez mais de decisões de roteamento baseadas em campos de chave estruturados (ex: identificadores de cursos, versões de rubricas, perfis de evidência). No entanto, é difícil determinar se um modelo aprendeu o mapeamento lógico pretendido ou se apenas explorou pistas superficiais, desequilíbrios de classe ou preditores de campo único. Métricas de acurácia de tarefas finais existentes podem ocultar os mecanismos específicos de falha, como a incapacância de reter uma chave específica, a falha em combinar múltiplas chaves ou a dificuldade de expressar um mapeamento através de uma interface de saída específica. O artigo aborda a necessidade de um instrumento de diagnóstico que isole a operação de "busca" (lookup) pré-requisito da avaliação semântica, permitindo que pesquisadores validem camadas de roteamento antes da implantação em textos autênticos.

Metodologia
O estudo emprega um teste de unidade sintético controlado projetado para avaliar pequenos Transformers de nível de caractere treinados do zero.

• Design da Tarefa: O experimento cria um mapeamento 4 × 4 totalmente equilibrado entre quatro chaves de origem neutras (representando famílias de cursos/rubricas) e quatro chaves de perfil de evidência. Estes 16 pares são atribuídos a quatro classes de ação neutras. O design garante que nem a origem, nem o perfil, sozinhos, predigam a ação acima do nível de chance nominal de 0,25, forçando o modelo a aprender a associação conjunta.
• Condições Experimentais: Três condições testam a organização superficial das chaves:
  1. Atômica: Uma única chave conjunta contendo ambos os identificadores.
  2. Fatorada Adjacente: Duas chaves separadas colocadas imediatamente uma ao lado da outra.
  3. Fatorada com Preenchimento (Padded): Duas chaves separadas por 256 caracteres neutros de espaço.
• Arquitetura do Modelo: O estudo utiliza um Transformer decodificador exclusivo de nível de caractere com um classificador de intervalo de chave fixo. O classificador recebe estados ocultos de média (mean-pooled) de intervalos de origem e perfil marcados, concatenados com características de par explicitas (produto elemento a elemento e diferença absoluta). Este "cabeçalho" é construído propositalmente para facilitar a combinação de representações, garantindo que o sucesso reflita a capacidade do backbone em fornecer representações de intervalo informativas, em vez de uma descoberta espontânea de fatores.
• Escala e Protocolo: O estudo compara dois tamanhos de modelo: um modelo primário de 2,67M de parâmetros (6 camadas, dimensão de embedding de 192) e uma replicação de 0,8M de parâmetros (4 camadas, dimensão de embedding de 128). Em 144 execuções congeladas (variando realizações de mapeamento e sementes de inicialização), os modelos foram treinados até um horizonte fixo de 2.000 equivalentes de classificação.
• Endpoints: Os endpoints primários incluem acurácia exata de quatro classes e área sob a curva (AUC) da curva de aprendizado normalizada. A análise de intervenção envolve a substituição de uma chave dentro de um caso para medir os deslocamentos nos log-odds preditos em direção à ação prescrita pela chave de substituição.

Principais Contribuições

1. Instrumento de Diagnóstico Sintético: O artigo fornece um teste sintético transparente para operações de roteamento pré-requisito com nulos marginais explícitos e um escopo de reivindicação estreito, separando capacidades de fatoração de efeitos de espaçamento de chaves.
2. Portão de Controle Positivo: Estabelece um regime de "controle positivo" onde um modelo deve primeiro demonstrar aprendibilidade em uma chave conjunta atômica antes que reivindicações sobre fatoração ou espaçamento possam ser feitas.
3. Isolamento de Variáveis: Ao manter constantes o mapeamento, o orçamento de treinamento, o cabeçalho de saída e o template de consulta, o estudo isola os efeitos da fatoração de chaves e da distância superficial.
4. Métricas de Intervenção Comportamental: Em vez de depender de acurácia agregada de doadores (que é pouco informativa sob permutações equilibradas), o estudo utiliza deslocamentos de log-odds dentro do caso para verificar se chaves específicas governam comportamentalmente a decisão.

Resultos

• Controle Positivo: A condição de chave conjunta atômica passou como um controle positivo em ambos os tamanhos de modelo (acurácia média ~0,89 para o modelo primário, ~0,83 para a replicação), confirmando que a interface é aprendível.
• Fatoração (Adjacente vs. Atômica): No modelo primário (maior), as chaves fatoradas adjacentes não foram inferiores às chaves atômicas (diferença de -0,010, passando da margem de -0,10). No modelo menor, embora a média tenha sido negativa (-0,081), o resultado não foi estatisticamente não-inferior devido à maior variabilidade ao nível de semente, sugerindo sensibilidade à inicialização em vez de uma falha estrutural definitiva.
• Distância de Chave (Padded vs. Adjacente): Separar as chaves por 256 caracteres degradou significativamente o desempenho em ambos os modelos.
  • Acurácia: Reduziu a acurácia final em aproximadamente 0,25 (ex: de 0,88 para 0,63 no modelo primário).
  • Dinâmica de Aprendizado: Reduziu a AUC da curva de aprendizado normalizada em ~0,04, indicando uma formação de mapeamento mais lenta ou menos sustentada.
  • Confiança: A condição de preenchimento (padded) exibiu maior entropia de predição e pior ranking esperado.
• Análise de Intervenção: Substituir qualquer chave de origem ou de perfil na condição adjacente deslocou consistentemente a distribuição prevista em direção à ação prescrita pela chave de substituição, confirmando que ambas as chaves são comportamentalmente utilizadas no processo de decisão.

Significância e Alegações
O artigo afirma que, nesta interface controlada, a distância superficial da chave, e não o conteúdo do mapeamento, é o fator governante para o sucesso do roteamento em modelos pequenos. Os achados sugerem que, embora pequenos Transformers possam lidar com chaves fatoradas se forem adjacentes, a introdução de um espaçamento significativo (mesmo dentro da janela de contexto) impõe uma penalidade substancial tanto na acurácia final quanto na velocidade de aprendizado.

O estudo enfatiza que este paradigma isola um mecanismo de busca em vez de uma avaliação semântica. Argumenta-se que, antes de atribuir falhas de roteamento em sistemas educacionais a déficits de raciocínio ou limites de fatoração, os pesquisadores devem primeiro estabelecer que o sistema pode expressar o mapeamento alvo através do canal de saída escolhido (controle positivo) e que a geometria do prompt não impede artificialmente a combinação dos campos necessários. O trabalho motiva o uso de testes de unidade sintéticos como um passo diagnóstico antes da avaliação em textos autênticos e arquiteturas operacionais.