Position: Every Ground Truth is a Human Construction, not an Objective Truth

Resumo Técnico: Todo Ground Truth é uma Construção Humana, não uma Verdade Objetiva

Problema
O artigo aborda um equívoco fundamental na pesquisa e desenvolvimento de aprendizado de máquina (ML): o tratamento de conjuntos de dados de "ground truth" (verdade fundamental) como medições neutras, objetivas e preexistentes da realidade. Os autores argumentam que os ground truths não são fatos dados naturalmente, mas sim construções humanas resultantes de um arranjo complexo de decisões, tecnologias e processos sociais. Essa negligência leva ao "black-boxing" (caixa-preta) de escolhas críticas relativas a fontes de dados, ontologias de rotulagem e métodos de observação. Consequentemente, a comunidade de ML frequentemente falha em reconhecer a contingência (a natureza do "poderia ter sido diferente") desses conjuntos de dados, levando a aplicações inapropriadas de modelos, superestimação de precisão e falta de transparência quanto aos limites da confiabilidade do modelo. O artigo destaca que tratar os ground truths como verdades universais ignora sua situacionalidade, podendo causar impactos negativos graves quando os modelos são implantados em contextos diferentes daqueles em que os dados foram construídos.

Metodologia e Estrutura Analítica
Em vez de propor um novo método algorítmico ou realizar um experimento empírico específico, este artigo emprega uma estrutura de análise conceitual e crítica enraizada nos Estudos de Ciência e Tecnologia (STS) e no Trabalho Colaborativo Suportado por Computador (CSCW). Os autores:

1. Reenquadram o Conceito: Eles adotam a definição de Jaton (2017) de ground truthing como uma prática de definição de problemas e alvos, deslocando o foco da "descoberta" para a "construção".
2. Categorizam os Sítios de Construção: Os autores analisam quatro "sítios de construção" distintos onde os ground truths são gerados para ilustrar a variabilidade do processo de construção:
   • Medição Direta: Mesmo dados baseados em sensores envolvem escolhas relativas a equipamentos, posicionamento, tempo e metadados.
   • Interpretação de Especialistas: Rótulos de especialistas (ex: em imagens médicas) estão sujeitos à variabilidade inter e intra-especialista, negociação e ao contexto específico do treinamento e da instituição do especialista.
   • Consenso de Multidão (Crowd): A rotulagem via crowdsourcing envolve métodos de agregação (ex: voto majoritário) que frequentemente ocultam a variação humana de rotulagem (HLV) e a subjetividade cultural.
   • Dados Sintéticos: Simulações e IA generativa criam "verdades conhecidas" que são inerentemente fabricadas e dependem dos parâmetros e modelos usados para gerá-las.
3. Analisam Comunicação e Colaboração: O artigo examina a "construção de sentido", argumentando que ground truths confiáveis exigem entendimento compartilhado e negociação entre praticantes de ML, especialistas de domínio e rotuladores, em vez de uma simples captura de dados.

Contribuições Principais
O artigo traz contribuições teóricas e práticas para o discurso de ML:

• Mudança Teórica: Postula que os ground truths são "situados" e "contingentes", rejeitando a noção de uma verdade objetiva singular e universal. Introduz o conceito de "confiabilidade situada", definida como uma confiabilidade que é válida apenas dentro de um contexto específico, em vez de uma métrica quantitativa genérica.
• Desconstrução do "Oráculo" e do "Sensor": Os autores desafiam a visão de especialistas humanos como "oráculos" infalíveis ou "sensores" neutros, demonstrando que a rotulagem de especialistas é um processo social sujeito a negociação e incerteza.
• Identificação de Caminhos de Construção: Ao mapear os pontos de decisão (ex: quem define a ontologia, como as observações são feitas, quais fontes são usadas), o artigo fornece um framework para entender como diferentes caminhos produzem diferentes ground truths para a mesma tarefa.
• Crítica às Práticas Atuais: O artigo critica a falta de vocabulário padrão e documentação para as limitações do ground truth, observando que as práticas atuais frequentemente falham em capturar a procedência e as escolhas de construção que afetam o desempenho do modelo.

Resultos e Descobertas
Como um artigo de posição (position paper), o trabalho não apresenta resultados experimentais, mas sintetiza a literatura existente e estudos de caso para demonstrar as consequências de ignorar a natureza construída dos ground truths:

• Deriva de Contexto: O artigo cita exemplos onde conjuntos de dados de referência (ex: MNIST, UCI Adult) foram aplicados muito além de seu contexto de construção original, levando a conclusões enganosas ou quedas de desempenho (ex: uma queda de 47% no desempenho de um modelo de RM devido ao pré-processamento não documentado).
• Impacto das Escolhas de Construção: Ilustra como decisões específicas, como a redução da resolução de imagem no MNIST devido às limitações de hardware da década de 1990, restringiram permanentemente as capacidades de modelos subsequentes.
• Variação como Informação: A análise sugere que a variação de rotulagem humana (HLV) é frequentemente tratada como ruído a ser removido, enquanto deveria ser reconhecida como dado informativo que reflete a complexidade do fenômeno sendo modelado.
• Necessidade Interdisciplinar: As descobertas indicam que a criação de ground truths confiáveis exige colaboração interdisciplinar, pois os praticantes de ML sozinhos muitas vezes não conseguem interpretar as nuances específicas do domínio necessárias para uma rotulagem precisa.

Significância e Alegações
Os autores afirmam que reconhecer os ground truths como construções humanas é essencial para melhorar a confiabilidade, transparência e responsabilidade dos sistemas de ML.

• Melhoria da Confiabilidade: Ao adotar uma perspectiva de "confiabilidade situada", a comunidade pode entender melhor onde, quando e como os modelos podem ser usados com segurança, evitando a adoção acrítica de soluções inadequadas.
• Aumento da Transparência: "Descaixotar" o processo de construção permite uma melhor documentação de limitações, permitindo que pesquisadores avaliem a validade de um conjunto de dados para seu caso de uso específico.
• Colaboração Interdisciplinar: Reconhecer o trabalho social e técnico envolvido no ground truthing promove melhores parcerias entre pesquisadores de ML, especialistas de domínio e cientistas sociais.
• Reforma Educacional: O artigo defende a integração de reflexões críticas sobre a construção de dados e colaboração interdisciplinar no ensino de ML para preparar pesquisadores para as complexidades dos dados do mundo real.

Em última análise, o artigo clama por uma mudança na mentalidade da comunidade de ML: passar de ver a coleta de dados como uma observação passiva de fatos para vê-la como um processo ativo, intencional e colaborativo de construção de dados. Essa mudança é apresentada não como um fardo, mas como um passo necessário para a criação de sistemas de IA mais robustos e eticamente sólidos.