Reliability of decisions based on tests: Fourier analysis of Boolean decision functions

Resumo Técnico: Confiabilidade de Decisões Baseadas em Testes via Análise de Fourier de Funções Booleanas

Enunciado do Problema
Testes são frequentemente utilizados para tomar decisões binárias (ex: passar/reprovar) com base nas respostas de itens. Tradicionalmente, as propriedades psicométricas de tais testes são avaliadas através de modelos de variáveis latentes (ex: Teoria de Resposta ao Item), que assumem que construtos não observados influenciam causalmente os itens observados. No entanto, os autores argumentam que esses modelos frequentemente dependem de suposições irreais, como a existência de variáveis latentes ou eventos de cauda infinita. Além disso, muitas vezes não está claro como pequenas perturbações nas respostas dos itens (erro de medida) afetam a decisão final. O artigo busca determinar os requisitos para uma função de decisão apropriada sem depender de modelos de variáveis latentes. Especificamente, investiga se o padrão de pontuação de soma ponderada é o método ideal para agregar itens e quais propriedades tornam uma função de decisão confiável (estável) contra o ruído.

Metodologia
Os autores empregam a análise de Fourier de funções booleanas para analisar regras de decisão. Uma função de decisão $f$ é modelada como um mapeamento de $n$ itens binários (codificados como $\{-1, 1\}$) para um resultado binário. A metodologia procede através de várias etapas fundamentais:

1. Estrutura de Modelagem Gráfica: Para acomodar dependências entre itens (violando a suposição de variáveis independentes e identicamente distribuídas), os autores inserem a análise dentro de modelos gráficos, especificamente o modelo de Ising. Eles utilizam uma fatoração de pseudo-verossimilhança (o produto das probabilidades condicionais) em vez da probabilidade conjunta. Isso permite a definição de independência condicional local, onde um item depende apenas de seus vizinhos no grafo.
2. Análise de Fourier p-Viésada: A análise de Fourier padrão assume distribuições uniformes. Os autores estendem isso para um cenário p-viésado onde os itens possuem diferentes probabilidades de sucesso ($p_i$). Eles definem uma função de base transformada $\phi(x_i) = (x_i - \mu_i)/\sigma_i$ usando expectativas condicionais ($\mu_i$) e variâncias ($\sigma_i$) derivadas das distribuições condicionais do modelo de Ising. Isso garante a ortogonalidade das funções de base sob a medida de pseudo-verossimilhança.
3. Definições de Estabilidade e Confiabilidade:
   • Influência: A influência de um item $i$ na decisão é definida como a probabilidade de inverter o valor do item $i$ alterar o resultado da decisão.
   • Confiabilidade/Estabilidade: Os autores introduzem um modelo de ruído onde cada item é invertido com probabilidade $\frac{1}{2}(1-\rho)$. A confiabilidade da decisão é definida como a correlação entre a decisão nos dados originais e nos dados ruidosos. A estabilidade é a diferença na probabilidade entre as decisões permanecerem as mesmas versus mudarem.
4. Algoritmo de Estimação: Para aplicar essas técnicas a dados reais, os autores propõem um algoritmo:
   • Estimar parâmetros do modelo de Ising (limiares e pesos de aresta) usando Lasso penalizado de pseudo-verossimilhança (regressão logística nodewise).
   • Usar essas estimativas para calcular probabilidades condicionais e as variáveis transformadas $\phi(x_i)$.
   • Calcular coeficientes de Fourier, focando especificamente em conjuntos de singletons (coeficientes de primeira ordem) para aproximar a confiabilidade da decisão e a influência do item.
   • Garantias teóricas são fornecidas usando Lasso desesparificado para estabelecer taxas de convergência ($1/\sqrt{m}$) para as estimativas.

Principais Contribuições e Resultados
O artigo estabelece vários resultados teóricos e práticos relativos a funções de decisão:

• Caracterização de Funções de Limiar Linear (LTFs): Os autores demonstram que as Funções de Limiar Linear (que incluem a pontuação de soma ponderada) possuem propriedades desejáveis:
  • Teorema de May: As LTFs (especificamente a função maioria) são as únicas funções que satisfazem monotonicidade, imparidade e anonimato.
  • Estabilidade: Em testes balanceados (onde os itens possuem influência/grau semelhante no grafo), as LTFs são as funções de decisão mais estáveis contra o ruído. A estabilidade da função maioria é mostrada como $S_\rho(\text{maj}_n) = \frac{2}{\pi}\arcsin(\rho)$ conforme $n \to \infty$, que é superior a qualquer outra função com baixas influências de itens.
  • Critério de Rousseau: As LTFs maximizam o acordo entre a decisão e a soma dos itens que estão acima de sua probabilidade média, efetivamente maximizando a influência total dos itens sobre a decisão.
• Definição de Escore Verdadeiro: Os autores propõem uma definição do "escore verdadeiro" baseada na função de limiar linear do modelo de Ising ($\ell_{\beta_i}$) que representa a "energia" de um nó dado seus vizinhos. Esta definição é observável (ao contrário de variáveis latentes) e alinha-se com condições de monotonicidade, independência local e associação condicional.
• Influência do Item e Estrutura do Grafo: Os coeficientes de Fourier de conjuntos de singletons mostram-se correlacionados com o grau dos nós no grafo de dependência de itens. Itens com baixa influência (baixos coeficientes de Fourier) correspondem a nós isolados no grafo, sugerindo que devem ser excluídos do teste.
• Ilustrações Numéricas: Simulações usando $n=35$ itens e $m=100$ observações demonstram que:
  • Os coeficientes de Fourier correlacionam-se altamente (0.70) com os graus dos nós.
  • A estabilidade da decisão aumenta com a correlação $\rho$ do ruído e diminui com limiares de decisão mais altos.
  • Mesmo quando a estrutura do grafo subjacente não é perfeitamente recuperada (baixas relações sinal-ruído), as estimativas das probabilidades condicionais e dos coeficientes de Fourier permanecem precisas, sugerindo que o método é robusto a erros de recuperação de grafo.

Significância e Alegações
O artigo afirma deslocar o foco da avaliação de testes dos modelos de variáveis latentes para as funções de decisão observáveis. Sua principal significância reside em fornecer um arcabouço matemático para:

1. Avaliar a Estabilidade da Decisão: Quantificar quão robusta uma decisão de passar/reprovar é contra o erro de medida sem assumir um traço latente.
2. Justificar a Pontuação de Soma: Oferecer argumentos teóricos (baseados em estabilidade, critério de Rousseau e conexões com a teoria de testes) de que as pontuações de soma ponderada (LTFs) são os métodos de agregação mais apropriados e estáveis.
3. Diagnosticar a Qualidade do Item: Usar coeficientes de Fourier para identificar itens que são "isolados" (têm baixa influência) ou desproporcionalmente dominantes, auxiliando na construção e seleção de itens de teste.

Os autores concluem que uma pontuação de soma ponderada é uma base apropriada para decisões binárias porque se ajusta à teoria de testes (via associação condicional observável), garante a estabilidade da decisão e satisfaz o critério de que a decisão deve corresponder à direção da entrada. Eles sugerem que este arcabouço permite definições de nível individual para escores verdadeiros baseados em dados de séries temporais, embora isso seja apresentado como uma extensão potencial e não uma aplicação atual.