Agile Deliberation: Concept Deliberation for Subjective Visual Classification

1. O Problema

A classificação visual tradicional em visão computacional foca em conceitos objetivos e bem definidos (ex: "cachorro", "carro"). No entanto, aplicações do mundo real, como moderação de conteúdo e curadoria, exigem a identificação de conceitos subjetivos cujos limites são mal definidos e frequentemente contestados (ex: o que constitui "comida saudável" ou "imagem insegura").

Os desafios principais identificados são:

• Definição Vaga: Os usuários (especialistas ou não) frequentemente começam com uma compreensão vaga do conceito e precisam iterar para refiná-lo.
• Limitações das Abordagens Atuais: Métodos existentes de "humano no loop" (como Agile Modeling) ou o uso de prompts estáticos em Modelos de Linguagem Visuais (VLMs) assumem que a definição do conceito é estática e bem compreendida desde o início.
• Inconsistência: Sem um processo de "deliberação" estruturado, os usuários podem produzir anotações inconsistentes à medida que sua compreensão evolui, e os classificadores baseados em VLMs podem falhar em capturar as fronteiras de decisão desejadas, especialmente em conjuntos de dados pequenos.

2. Metodologia: Agile Deliberation

O artigo propõe o Agile Deliberation, um framework interativo de "humano no loop" que integra a deliberação de conceitos diretamente no pipeline de treinamento do classificador. O sistema foi inspirado em entrevistas com moderadores de conteúdo e opera em dois estágios principais:

A. Estágio 1: Escopo do Conceito (Concept Scoping)

• Objetivo: Decompor o conceito inicial do usuário em uma hierarquia estruturada de sub-conceitos.
• Mecanismo: Utiliza raciocínio em cadeia de prompts (prompt-chained reasoning) para expandir o conceito (ex: "comida saudável") em unidades visuais e sub-conceitos positivos e negativos (ex: "pratos preparados", "ingredientes crus").
• Interação: O sistema apresenta exemplos representativos de cada sub-conceito para que o usuário valide quais devem ser incluídos na definição estruturada inicial.

B. Estágio 2: Iteração do Conceito (Concept Iteration)

Este é o núcleo do framework, onde a definição evolui através de múltiplas rodadas:

1. Recuperação de Imagens Limítrofes (Borderline Image Retrieval):
   • Diferente do Active Learning tradicional (que busca incerteza estatística do modelo), o sistema busca exemplos semanticamente limítrofes baseados na definição atual.
   • Utiliza um processo de recuperação estruturado: gera consultas de borda, recupera imagens, remove duplicatas, agrupa por características visuais (usando dictionary learning) e seleciona clusters usando uma estratégia de Multi-Armed Bandit (UCB) para maximizar a descoberta de ambiguidades informativas.
   • O sistema gera resumos textuais explicando a ambiguidade de cada imagem para auxiliar a reflexão do usuário.
2. Refinamento do Conceito (Concept Refinement):
   • O usuário rotula as imagens limítrofes e fornece feedback textual (justificativas).
   • Um módulo de otimização de prompts sintetiza esse feedback para gerar candidatos a novas definições.
   • O sistema seleciona a melhor definição candidata ($d_{t+1}$) que maximiza a pontuação F1 no conjunto de dados rotulados até o momento, garantindo que a evolução da definição preserve o desempenho em dados anteriores.

3. Contribuições Chave

1. Framework de Deliberação Ativa: Introduz um sistema que formaliza a prática humana de "deliberação de conceitos" (explorar casos limítrofes e refinar definições) em um pipeline automatizado de treinamento.
2. Foco em Ambiguidade Semântica: Propõe uma abordagem de recuperação de dados que visa ambiguidades semânticas (onde humanos têm dificuldade) em vez de apenas incerteza do modelo, reconhecendo que VLMs frequentemente têm calibração pobre em relação à compreensão humana.
3. Validação via Interação Humana: Em vez de depender apenas de benchmarks estáticos (que não capturam a evolução da intenção do usuário), o estudo foi validado através de sessões ao vivo com usuários, medindo a capacidade do sistema de alinhar a intenção humana dinâmica com o classificador.
4. Acessibilidade: Demonstra que o framework permite que não especialistas definam e treinem classificadores visuais complexos com menos esforço cognitivo.

4. Resultados Experimentais

O estudo envolveu 18 sessões com 9 participantes não especialistas, testando conceitos como "comida saudável" e "pagamento para jogar" (paid to play).

• Desempenho de Classificação:
  • O Agile Deliberation superou os classificadores zero-shot em 10,5% (em média) na pontuação F1.
  • Superou abordagens automatizadas de decomposição de conceitos (sem feedback humano iterativo) em 7,5%.
  • Superou a deliberação manual (onde usuários buscam imagens e ajustam prompts sozinhos) em mais de 3%.
• Experiência do Usuário:
  • Os participantes relataram menor esforço cognitivo e menor frustração ao usar o sistema automatizado em comparação com a deliberação manual.
  • Houve uma preferência unânime pelo Agile Deliberation devido à sua capacidade de expor casos de borda diversos e automatizar a otimização do prompt.
• Transferibilidade: As definições geradas pelo Agile Deliberation (otimizadas para um modelo específico) transferiram-se bem para outros VLMs menores (Qwen3), mostrando ganhos significativos, especialmente em modelos com maior capacidade de raciocínio.

5. Significado e Impacto

O trabalho demonstra que a deliberação de conceitos é um componente crítico para o sucesso da classificação visual subjetiva. Ao integrar a evolução da compreensão humana diretamente no loop de treinamento, o Agile Deliberation:

• Alinha IA com Intenção Humana: Resolve o problema de desalinhamento entre a definição estática de um prompt e a intenção dinâmica do usuário.
• Democratiza a Moderação de Conteúdo: Permite que especialistas de domínio e não especialistas criem classificadores robustos para riscos sutis e harmônicos, indo além da resposta reativa para o design proativo de sistemas.
• Avança a Pesquisa em HCI e ML: Oferece um novo paradigma para avaliação de sistemas de IA subjetiva, priorizando a interação ao vivo e a evolução do conceito em vez de métricas estáticas em conjuntos de dados fixos.

Em resumo, o Agile Deliberation transforma a tarefa de definir conceitos subjetivos de um processo solitário e difícil em uma colaboração estruturada e eficiente entre humanos e IA, resultando em classificadores mais precisos e alinhados com valores humanos complexos.