Deterministic Preprocessing and Interpretable Fuzzy Banding for Cost-per-Student Reporting from Extracted Records

Este artigo descreve um fluxo de trabalho determinístico e baseado em regras, implementado no script `cad_processor.py`, que processa extratos administrativos para calcular e relatar custos por aluno, agregando dados por escola e ano e aplicando uma camada de bandagem fuzzy interpretável para classificar os custos como baixos, médios ou altos com total rastreabilidade e reprodutibilidade.

O essencial

Imagine que você é o diretor de uma grande escola e precisa decidir como distribuir o dinheiro do orçamento. Você recebe um monte de planilhas confusas com dados sobre professores temporários, custos e número de alunos. O problema é: como ter certeza de que os números que você está vendo são reais e não foram "mágicos" ou alterados no caminho?

Este artigo de Shane Lee e Stella Ng apresenta uma solução inteligente que funciona como um "Cozinheiro de Dados" muito rigoroso e um "Tradutor" amigável.

Aqui está a explicação do que eles fizeram, usando analogias do dia a dia:

1. O "Cozinheiro" Rigoroso (Processamento Determinístico)

Imagine que você tem uma receita de bolo (o código do programa, chamado cad_processor.py).

• A Entrada: Você pega os ingredientes exatos (o arquivo Excel bruto com os dados da escola).
• A Regra: O cozinheiro segue a receita passo a passo, sem improvisar. Se a receita diz "se o ovo estiver quebrado, jogue fora", ele joga fora. Se diz "se faltar açúcar, use zero", ele usa zero.
• A "Impressionante" Digital: Antes de começar a cozinhar, o cozinheiro tira uma "foto digital" (um hash SHA-256) dos ingredientes originais. É como se ele gravasse a impressão digital exata do pacote de farinha e ovos.
• O Resultado: Ele produz um novo bolo (a planilha processada) que é idêntico sempre que você usa os mesmos ingredientes e a mesma receita. Se alguém tentar mudar um grama de açúcar no pacote original, a "foto digital" muda, e o cozinheiro avisa: "Ei, os ingredientes não são os mesmos de antes!".

Isso garante confiança. Se você quiser checar o trabalho, pode pegar os mesmos ingredientes e a mesma receita e refazer o bolo. Se o resultado for diferente, algo está errado.

2. Limpando a Cozinha (Tratamento de Dados)

Muitas planilhas vêm sujas. Tem linhas de "Total Geral" que não deveriam ser contadas, ou células vazias.

• O sistema tem regras claras:
  • Se a linha diz "Total", ele a ignora (como tirar a tampa da panela antes de pesar o conteúdo).
  • Se falta o número de alunos, ele trata como "zero alunos" (não deixa a conta quebrar).
  • Se o custo é zero e os alunos são zero, ele diz "Sem atividade".
  • Se há custo mas zero alunos, ele diz "Indefinido" (como tentar dividir um bolo para ninguém).
• Tudo isso é contado em um "Livro de Atas" (a aba Processing Summary), para que você saiba exatamente quantos ingredientes foram jogados fora e por quê.

3. O "Tradutor" de Cores (Banda Fuzzy)

Agora, imagine que você tem uma lista de 50 escolas. Algumas gastam R$100 por aluno, outras R$ 10.000. Olhar apenas para os números é difícil. O cérebro humano prefere categorias simples: "Barato", "Médio" e "Caro".

Mas como definir o que é "Caro"?

• O Erro Comum: Dizer que "Caro" é qualquer coisa acima de R$ 5.000. Isso é rígido demais.
• A Solução do Artigo (Banda Fuzzy): Eles olham para o grupo de escolas de um único ano e criam uma régua flexível baseada naquele grupo específico.
  • O Mínimo: A escola mais barata do ano vira o ponto de partida da categoria "Baixo".
  • O Máximo: A escola mais cara vira o ponto de partida da categoria "Alto".
  • A Mediana (O Meio): O valor do meio vira o pico da categoria "Médio".

A Mágica da "Fuzzy" (Neblina):
Ao invés de dizer "Se você gastar R$4.999, você é Barato, mas se gastar R$ 5.000, você vira Caro de repente", o sistema usa uma neblina.

• Uma escola que gasta um pouco mais que o mínimo começa a ter uma "sombra" de ser "Média" também.
• É como um semáforo que não muda de verde para vermelho instantaneamente; passa pelo amarelo.
• O sistema calcula uma "peso de pertencimento" (de 0 a 1). Uma escola pode ser 70% "Média" e 30% "Baixa".
• A Regra de Empate: Se uma escola estiver exatamente no meio (50% Baixa, 50% Média), o sistema decide de forma automática e justa: "Neste caso, vamos chamar de Média". Isso evita confusão.

4. Por que isso é importante?

Geralmente, quando vemos tabelas de custos, elas parecem "caixas pretas". Ninguém sabe como os números foram feitos.

• Transparência: Este método deixa a "caixa preta" aberta. Você vê os ingredientes, a receita, a foto digital dos ingredientes e o tradutor de cores.
• Justiça: Ao usar os limites (mínimo, mediano, máximo) de cada ano separadamente, você compara as escolas de 2023 com as de 2023, e não mistura tudo com as de 2024, onde a inflação pode ter mudado tudo.
• Segurança: Se alguém tentar alterar a planilha original depois que o relatório foi feito, a "foto digital" (hash) não vai bater, e todo mundo saberá que os dados foram adulterados.

Resumo em uma frase

Os autores criaram um sistema que transforma planilhas confusas de custos escolares em relatórios confiáveis e auditáveis, usando uma "receita" infalível para garantir que os números sejam reais e um "tradutor inteligente" para classificar os gastos em Baixo, Médio e Alto de forma justa e visualmente clara.

Resumo técnico

Resumo Técnico: Pré-processamento Determinístico e Agrupamento Fuzzy Interpretável para Relatórios de Custo por Aluno

1. O Problema

Relatórios administrativos derivados de extrações de sistemas operacionais (como planilhas de Excel) são frequentemente utilizados para decisões críticas de orçamento, alocação de recursos e governança. No entanto, existem desafios significativos nesse fluxo de trabalho:

• Falta de Auditabilidade: Quando uma planilha exportada se torna a "foto" de referência para decisões, é difícil verificar se as transformações aplicadas (agregações, cálculos de custo) foram realizadas corretamente ou se há inconsistências nos dados.
• Opacidade na Interpretação: Tabelas de "custo por aluno" contêm números brutos que podem ser difíceis de interpretar rapidamente sem contexto. A simples visualização de valores não indica facilmente se um custo é "alto" ou "baixo" em relação ao contexto interno da instituição.
• Rastreabilidade: É necessário garantir que os resultados possam ser recriados exatamente a partir da mesma entrada (reprodutibilidade) e que as decisões de tratamento de dados (como valores ausentes ou negativos) sejam transparentes.

2. Metodologia

Os autores propõem um fluxo de trabalho baseado em arquivos, determinístico e governado por regras, implementado no script cad_processor.py. A metodologia divide-se em duas fases principais:

A. Pré-processamento Determinístico e Agregação

• Entrada: O sistema ingere uma extração do Banco de Dados Acadêmico Casual (CAD) como uma planilha Excel.
• Detecção de Estrutura: O script localiza automaticamente a planilha e o cabeçalho, mapeando campos obrigatórios (Escola, Número da Disciplina, Disciplina, Sessão de Ensino, Custos Inclusivos, Contagem de Alunos).
• Filtragem e Tratamento de Dados:
  • Linhas com chaves ausentes (Escola/Disciplina) ou anos não detectados são descartadas e contadas.
  • Linhas de resumo (ex: "Total", "Sum") são removidas.
  • Contagens de alunos negativas são descartadas.
  • Valores de custo ou contagem de alunos ausentes são tratados como 0 para fins de agregação, mas o evento é registrado em contadores.
• Agregação: Os dados são agregados para níveis de "Disciplina-Ano" e "Escola-Ano".
• Cálculo de Razão: O custo por aluno é calculado dividindo os custos totais pela contagem total de alunos.
  • Se alunos > 0: Razão calculada.
  • Se alunos = 0 e custo = 0: Marcado como "Sem Atividade" (razão 0.0).
  • Se alunos = 0 e custo > 0: Marcado como "Indefinido" (célula em branco).
• Proveniência: O script calcula um hash SHA-256 dos bytes do arquivo de entrada para garantir que a mesma "foto" (snapshot) seja usada em reexecuções.

B. Agrupamento Fuzzy Interpretável (Fuzzy Banding)
Para facilitar a interpretação dentro de um mesmo ano, o sistema aplica uma camada de agrupamento fuzzy:

• Âncoras Anuais: Para cada ano, calculam-se três âncoras baseadas nos valores de custo por aluno (finitos e positivos) das escolas:
  • Mínimo ($a$)
  • Mediana ($b$)
  • Máximo ($c$)
• Funções de Pertencimento: Utilizam-se funções de pertinência triangulares e de ombro (shoulder) para calcular o grau de pertencimento de cada escola às categorias Baixo (Low), Médio (Medium) e Alto (High).
  • Baixo: Função de ombro esquerdo (decai de 1 a 0 entre o mínimo e a mediana).
  • Médio: Função triangular (pico na mediana).
  • Alto: Função de ombro direito (cresce de 0 a 1 entre a mediana e o máximo).
• Resolução de Empates: Se houver empate nos pesos de pertinência, aplica-se uma ordem de prioridade determinística: Médio > Baixo > Alto. Isso evita ambiguidade na rotulagem.
• Saída: Os pesos de pertinência são tratados como sinais de suporte à decisão, não como probabilidades.

3. Contribuições Chave

1. Fluxo de Trabalho Reprodutível e Auditável: A implementação gera um livro de trabalho processado com quatro abas específicas, incluindo um resumo de execução que registra o hash SHA-256 da entrada, contadores de linhas descartadas e metadados de execução. Isso permite que qualquer parte interessada recompute os resultados e verifique a consistência.
2. Camada de Interpretação Fuzzy Transparente: Introduz uma metodologia para rotular dados numéricos contínuos em categorias (Baixo/Médio/Alto) de forma matematicamente rigorosa e transparente, mantendo os valores numéricos originais visíveis para verificação.
3. Matriz de Evidência: O artigo fornece uma "Matriz de Reivindicação para Evidência" (Claim-to-Evidence Matrix) que liga afirmações do texto diretamente a células específicas nas planilhas de saída e trechos de código, facilitando a auditoria.
4. Tratamento Explícito de Casos Limite: Define claramente como lidar com casos de "Sem Atividade" vs. "Indefinido" vs. "Zero", evitando erros comuns de divisão por zero ou má interpretação de dados nulos.

4. Resultados

O estudo apresenta um exemplo de trabalho (usando dados sintéticos para ilustração) que demonstra:

• Geração de Artefatos: O script produz um arquivo de saída (Processed_CAD_Contract.xlsx) contendo:
  • Processing Summary: Metadados, hash de entrada e contadores de qualidade de dados.
  • Trend Analysis: Matriz de custo por aluno por escola e ano, com escalas de cores condicionadas às âncoras anuais.
  • Report: Tabela detalhada nível de disciplina.
  • Fuzzy Bands: Tabela com os pesos de pertinência, rótulos de banda e as âncoras usadas.
• Consistência: A reexecução com os mesmos dados de entrada e ambiente de runtime produz saídas idênticas (byte a byte), confirmando a natureza determinística do processo.
• Interpretabilidade: O exemplo mostra como um valor específico (ex: 12.000) é mapeado para uma banda (ex: "Baixo") com base nas âncoras do ano (Mín: 10k, Med: 15k, Max: 30k), fornecendo o peso de pertinência exato (ex: $\mu_{Low} = 0.6$).

5. Significado e Impacto

Este trabalho é significativo para a governança de dados em instituições educacionais e administrativas porque:

• Fomenta a Confiança: Ao tornar o processo de transformação de dados transparente e auditável, reduz-se a desconfiança em relatórios administrativos complexos.
• Alinha-se aos Princípios FAIR: O uso de artefatos bem descritos e reprodutíveis apoia os princípios de Findability, Accessibility, Interoperability, and Reuse (FAIR).
• Suporte à Decisão: A camada fuzzy oferece uma maneira de sumarizar dados complexos sem perder a granularidade numérica, permitindo que gestores identifiquem rapidamente anomalias ou tendências dentro de um ano específico, sem comparar distorções entre anos diferentes (já que as âncoras são anuais).
• Modelo para E-Science: Serve como um modelo de como implementar pipelines de dados que priorizam a rastreabilidade (proveniência) e a reprodutibilidade, essenciais para a ciência de dados responsável.

Em suma, o artigo propõe uma solução robusta para transformar dados brutos de extração administrativa em relatórios de alto valor, garantindo que cada número e rótulo possa ser rastreado de volta à sua origem e às regras de cálculo aplicadas.