💻 computer science

Applied and Filtered: An End-to-End Algorithmic Fairness Audit of A Public Employment Agency

Este artigo apresenta a primeira auditoria de equidade independente de ponta a ponta do sistema de contratação semiautomatizado da Barcelona Activa, revelando que, embora exista paridade de gênero agregada, disparidades significativas persistem entre níveis salariais, grupos etários e identidades de gênero devido a interações complexas entre o processamento automatizado, a discricionariedade humana e a opacidade do fornecedor que são invisíveis para avaliações tradicionais de nível de modelo.

Autores originais: Gemma Galdón-Clavell

Publicado 2026-08-14

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Gemma Galdón-Clavell

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando conseguir um emprego, mas em vez de entregar seu currículo a uma pessoa, você está entrando em um labirinto gigante e de alta tecnologia. Este é o mundo da equidade algorítmica, um campo da ciência que faz uma pergunta simples, mas complexa: Quando os computadores ajudam a tomar grandes decisões como contratações, eles tratam todos da mesma forma ou acidentalmente empurram certas pessoas para becos sem saída? Por muito tempo, os especialistas focavam principalmente no "cérebro" do computador — o código em si — para ver se ele era tendencioso. Mas este artigo argumenta que verificar apenas o cérebro é como verificar o motor de um carro enquanto ignora o motorista, as condições da estrada e as regras de trânsito. Acontece que, mesmo que o motor seja perfeito, o carro ainda pode bater se o motorista estiver distraído ou se o mapa estiver errado. Isso importa para todos porque os algoritmos de contratação estão se tornando os guardiões de nossos meios de subsistência e, se estiverem quebrados, podem silenciosamente bloquear pessoas de oportunidades sem que ninguém perceba.

Este artigo é uma história de detetive sobre um labirinto de contratação da vida real em Barcelona, Espanha. Os pesquisadores, atuando como auditores independentes, não olharam apenas para o código do computador; eles acompanharam 497.000 candidatos através de cada etapa de uma jornada de cinco anos (de 2017 a 2022) para ver onde o sistema falhou. Eles analisaram um sistema semiautomático onde um analista humano utiliza um software de terceiros chamado "TalentClue" para encontrar candidatos para empregadores. Pense nisso como uma corrida de revezamento com sete etapas: o empregador publica uma vaga, o analista humano escolhe as palavras-chave, o computador filtra a lista, o humano escolhe uma lista de finalistas e, finalmente, o empregador contrata alguém.

A reviravolta mais surpreendente da história? Se você olhasse apenas para a linha de chegada final, a corrida parecia justa. O número de homens e mulheres contratados era quase exatamente o mesmo. Era como ver duas equipes com o mesmo placar final e assumir que o jogo estava perfeitamente equilibrado. Mas quando os auditores voltaram a fita e olharam para cada etapa da corrida, encontraram uma história diferente. O placar final "justo" estava, na verdade, escondendo muita injustiça ao longo do caminho.

Foi aqui que o sistema começou a derrubar as pessoas:

A Armadilha Salarial: Embora homens e mulheres fossem contratados em taxas semelhantes no geral, as mulheres eram muito menos propensas a serem selecionadas para empregos de nível salarial médio (entre €15.000 e €24.000). De fato, para esses empregos específicos, as mulheres foram selecionadas a uma taxa de apenas 7,43% em comparação com 9,45% dos homens. É como se o sistema tivesse uma regra oculta que dizia: "Você pode conseguir o emprego, mas talvez não o melhor emprego".
O Muro da Idade: O sistema parecia ter um ponto cego para trabalhadores mais velhos. Pessoas com 55 anos ou mais representavam 15,6% da força de trabalho local, mas estavam completamente ausentes do fluxo de contratação. Era como se o labirinto tivesse uma parede que ninguém acima de 55 anos conseguia ver, muito menos escalar.
O Problema do "Outro": Para candidatos que se identificavam como não binários (nem estritamente masculino, nem feminino), as chances eram incrivelmente baixas. Eles eram selecionados a menos de um terço da taxa dos homens. No entanto, os pesquisadores observam que havia poucos desses candidatos nos dados (apenas 285), portanto, embora a disparidade seja clara, eles ainda não podem dizer exatamente o quão grande é o problema para toda a população.
O Paradoxo da Educação: Curiosamente, pessoas com ensino superior eram menos propensas a serem selecionadas do que aquelas com apenas o ensino médio. Como as mulheres tendem a ter graus de ensino superior neste conjunto de dados, essa regra acidentalmente prejudicou ainda mais as chances das mulheres.

O artigo também destaca uma grande falha de comunicação. As pessoas que gerenciavam a agência de empregos (Barcelona Activa) não sabiam, de fato, como o software do computador (TalentClue) decidia quem mostrar a elas. Era como contratar um chef, mas não ser permitido ver a receita ou os ingredientes. A agência não conseguia verificar se o computador era tendencioso porque a empresa de software mantinha o "ingrediente secreto" escondido.

Finalmente, os pesquisadores descobriram que o sistema não era estático; ele mudava ao longo do tempo. A lacuna entre homens e mulheres na seleção diminuiu de 2017 a 2022, mas apenas porque menos pessoas de ambos os gêneros estavam sendo selecionadas no total. É como uma corrida onde a distância entre os corredores diminui porque todos estão correndo mais devagar, não porque a pista se tornou mais justa.

A grande lição é que você não pode apenas verificar o código de um computador uma vez e chamá-lo de "justo". Você tem que observar todo o processo — os humanos, os dados, o software e o tempo que leva. Se você olhar apenas para o resultado final, pode perder o fato de que o sistema está silenciosamente direcionando certos grupos para longe das melhores oportunidades. O autor sugere que, em vez de apenas fazer uma verificação única, as empresas precisam manter uma vigilância constante em seus sistemas de contratação, como um farol mantendo o olho nas ondas, para garantir que o caminho para um emprego esteja aberto para todos, todos os dias.

Resumo Técnico: Aplicado e Filtrado: Uma Auditoria de Equidade Algorítmica de Ponta a Ponta de uma Agência Pública de Emprego

Definição do Problema

A avaliação da equidade algorítmica trata tipicamente os sistemas de IA como componentes técnicos delimitados, avaliando as entradas e saídas do modelo isoladamente do contexto organizacional no qual operam. Esta abordagem de "nível de componente" cria um ponto cego significativo em domínos de alto risco como o emprego, onde ferramentas automatizadas estão inseridas em fluxos de decisão cumulativos e de múltiplas etapas. As disparidades surgem frequentemente não de um único erro algorítmico, mas da interação entre o processamento automatizado, a discricionariedade humana, a qualidade dos dados, a opacidade do fornecedor e as decisões subsequentes. Além disso, as estruturas regulatórias existentes (ex: NYC Local Law 144) e as práticas acadêmicas muitas vezes dependem de auditorias pontuais que falham em capturar a dinâmica temporal dos sistemas implantados ou a natureza sociotécnica do recrutamento.

Este artigo aborda a lacuna entre a avaliação isolada do modelo e a realidade dos sistemas de contratação implantados, realizando uma auditoria de equidade independente e de ponta a ponta de um pipeline de recrutamento semiautomatizado operado pela Barcelona Activa, uma agência pública de emprego em Espanha.

Metodologia

O estudo utiliza um framework de auditoria sociotécnica aplicado a cinco anos de dados operacionais (setembro de 2017 – setembro de 2022), compreendendo aproximadamente 497.000 entradas de pipeline de candidatos-vagas. A auditoria cobre todo o ciclo de vida do recrutamento, em vez de um único componente algorítmico.

Arquitetura do Sistema e Escopo

O sistema auditado envolve um pipeline de sete estágios:

Receção de Vaga: Submissão de requisitos de emprego pelo empregador.
Atribuição de Analista: Um analista humano interpreta os requisitos.
Seleção de Palavras-chave: Os analistas traduzem os requisitos em filtros de pesquisa e palavras-chave (não existe rastro de auditoria para este passo).
Pesquisa na Plataforma: Os analistas consultam a plataforma de terceiros TalentClue. A lógica interna de correspondência, classificação e ponderação da plataforma é proprietária e opaca para o implementador e para os auditores.
Resultados Filtrados: A plataforma retorna um subconjunto de perfis; o grupo excluído não é registado.
Revisão Final: Analistas humanos constroem listas de seleção (shortlists) sem protocolos formais ou registos de raciocínio.
Entrega ao Empregador: Os empregadores tomam as decisões finais de contratação; nenhum dado de resultado pós-lista de seleção é devolvido à agência.

Abordagem Analítica

A metodologia emprega uma análise de três fases:

Pré-processamento (Representatividade): A composição demográfica do pool de candidatos é comparada com a força de trabalho ativa de Barcelona (usando dados do EPA) para identificar exclusão estrutural no ponto de entrada.
Em-processamento (Impacto Disparate e Estratificação): A auditoria calcula a Razão de Impacto Disparate (DIR) para as transições entre as etapas do pipeline. Um DIR < 0,80 é tratado como um benchmark para impacto adverso. Crucialmente, a análise vai além das métricas agregadas para a análise condicional estratificada (por setor, faixa salarial, tipo de contrato, educação e idade) e análise interseccional (ex: idade × género). A significância estatística é testada através de testes qui-quadrado ou teste exato de Fisher.
Pós-processamento (Consistência Temporal): As taxas de seleção são analisadas anualmente (2017–2022) para avaliar a estacionariedade das propriedades de equidade ao longo do tempo.

Principais Contribuições

O artigo apresenta quatro contribuições primárias para o campo da auditoria algorítmica:

Auditoria Operacional de Ponta a Ponta: Fornece a primeira auditoria de equidade independente de um sistema de contratação semiautomatizado utilizando dados operacionais longitudinais, estendendo o escopo da avaliação do componente automatizado para todo o pipeline de recrutamento.
Evidência de Disparidades Mascaradas: Demonstra que a paridade de género agregada pode coexistir com disparidades substanciais e estatisticamente significativas em etapas específicas do pipeline, interseções demográficas, níveis salariais e setores.
Assimetria de Informação Fornecedor–Implementador: Documenta como a falta de acesso à lógica de correspondência e aos dados de avaliação de uma plataforma de terceiros restringe a capacidade da organização implementadora de governar o sistema, identificando esta opacidade como um achado crítico de auditoria.
Evidência para Avaliação Contínua: Demonstra empiricamente que os resultados de equidade são não-estacionários, mudando ao longo do tempo mesmo sem o retreino do modelo, argumentando assim contra a suficiência das avaliações pontuais.

Principais Resultados

1. A Paridade Agregada Mascara a Desigualdade Estrutural

Os resultados agregados parecem equitativos: as mulheres constituem 51,5% dos candidatos registados e 49,8% dos contratados, uma diferença que não é estatisticamente significativa. Uma auditoria de saída de modelo limitada a estes números concluiria que o sistema é justo. No entanto, a desagregação revela disparidades severas.

2. Disparidades Específicas do Pipeline

Níveis Salariais: As mulheres sofrem impacto adverso na seleção de salários médios (€15.000–€24.000) com um DIR de 0,786 ( $p < 0,001$ ). Enquanto funções de baixo salário mostram paridade, a lacuna aumenta em funções de maior peso económico.
Segregação Setorial: As mulheres estão sub-representadas nas listas de seleção para setores dominados por homens (ex: Imobiliário, Engenharia), mesmo quando estão presentes no pool de candidatos correspondentes. Inversamente, estão sobre-representadas em setores como a Saúde.
Tipo de Contrato: Funções de tempo inteiro apresentam impacto adverso para mulheres (DIR = 0,758, $p < 0,001$ ), enquanto funções de tempo parcial não apresentam disparidade.
Lacunas Salariais: Mesmo dentro dos mesmos setores, as mulheres são correspondidas a vagas com um salário mínimo médio €1.147 inferior ao dos homens ( $p < 0,001$ ). Esta lacuna persiste em 15 de 20 setores.

3. Exclusão Interseccional e Demográfica

Idade e Género: Mulheres mais velhas (46–55) enfrentam uma desvantagem composta com um DIR de 0,77.
Ausência Estrutural de Adultos Mais Velhos: Candidatos com 55 anos ou mais estão totalmente ausentes do pipeline, apesar de representarem 15,6% da força de trabalho ativa de Barcelona.
Candidatos Não-Binários: Candidatos não-binários são selecionados a uma taxa de 3,51% comparativamente a 11,89% para homens (DIR = 0,295, $p < 0,001$ ). Zero candidatos não-binários foram encaminhados para empregadores durante o período de auditoria. Nota: Este achado é sinalizado como indicativo devido a um tamanho de amostra reduzido (N=285).
Paradoxo da Educação: Candidatos com ensino superior são selecionados a taxas 40–42% inferiores aos graduados do ensino secundário. Uma vez que as categorias de ensino superior tendem a ser maioritariamente femininas, este mecanismo afeta desproporcionalmente as mulheres.
País de Origem: Candidatos espanhóis são selecionados a taxas significativamente superiores aos candidatos da UE (DIR = 0,565) e de fora da UE (DIR = 0,631).

4. Dinâmicas Temporais

A lacuna de género na seleção reduziu de 6,5 pontos percentuais em 2017 para 1,3 pontos percentuais em 2022. No entanto, esta convergência coincidiu com uma queda nas taxas gerais de seleção para ambos os grupos (de ~18% para ~9%), sugerindo que a mudança pode ser impulsionada pelo aumento da competição e não por melhorias substantivas de equidade. Isto destaca que as propriedades de equidade são não-estacionárias.

Significância e Alegações

O artigo argumenta que a avaliação ao nível do modelo é insuficiente para compreender a equidade em sistemas implantados. A principal alegação empírica é que o hiato entre as métricas de equidade agregadas e as disparidades específicas do pipeline é provavelmente a regra, e não a exceção, em sistemas de decisão assistidos por IA.

O autor afirma que:

O Contexto Sociotécnico é Crítico: Os resultados de equidade são moldados pela interação entre o processamento automatizado, a discricionariedade humana, as práticas de dados e os procedimentos organizacionais.
A Opacidade é uma Barreira: A incapacidade do implementador (Barcelona Activa) de aceder à lógica interna do fornecedor (TalentClue) impede a governação eficaz e a verificação independente de equidade.
O Monitoramento Contínuo é Necessário: Como o comportamento do sistema muda ao longo do tempo devido às mudanças nos mercados de trabalho, nas práticas dos analistas e nas atualizações das plataformas, as auditorias periódicas são necessárias, mas insuficientes. É necessária uma camada de avaliação contínua para detetar disparidades emergentes em tempo real.

O estudo conclui que a responsabilidade eficaz requer a extensão da avaliação para além dos outputs do modelo para o pipeline sociotécnico mais amplo, garantindo que os implementadores tenham acesso à informação necessária para sistemas de terceiros e estabelecendo mecanismos para monitoramento contínuo. Este trabalho fornece apoio empírico para a mudança em direção a abordagens sociotécnicas e de ponta a ponta da equidade algorítmica, particularmente no contexto das novas regulamentações como o AI Act da UE.